Регуляризация (математика)

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Регуляризация в статистике, машинном обучении, теории обратных задач — метод добавления некоторой дополнительной информации к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Эта информация часто имеет вид штрафа за сложность модели. Например, это могут быть ограничения гладкости результирующей функции или ограничения по норме векторного пространства.

С байесовской точки зрения многие методы регуляризации соответствуют добавлению некоторых априорных распределений на параметры модели.

Некоторые виды регуляризации:

  • -регуляризация (англ. lasso regression):
    .
  • - регуляризация или Регуляризация Тихонова (в английской литературе — ridge regression или Tikhonov regularization) для интегральных уравнений позволяет балансировать между соответствием данным и маленькой нормой решения:
    . Простыми словами: Переобучение в большинстве случаев проявляется в том, что в получающихся многочленах слишком большие коэффициенты. Соответственно, и бороться с этим можно довольно естественным способом: нужно просто добавить в целевую функцию штраф, который бы наказывал модель за слишком большие коэффициенты.
  • Регуляризация. Никто не знает как решить многокритериальную оптимизацию или оптимизацию в которой область значения целевой функции есть пространство на котором нет линейного порядка, или его затруднительно ввести. Почти всегда найдутся точки в области определения функции которую оптимизируют, и которые удовлетворяют ограничениям, но значения в точках не сравнимые между собой. Чтобы найти все точки на кривой Парето используют скаляризацию [1, стр. 178]. В оптимизации регуляризация - это общий метод скаляризации для задачи двухкритериальной оптимизации. [1], стр.306. Варьируя параметр лямбда вы будете получать разные точки на кривой Парето. (Коэффициент лямбда это элемент, который должен быть больше нуля в дуальном конусе относительно которого определён ваш порядок.)

Литература:

[1] С. Бойд. Выпуклая оптимзация. http://stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf

Примечания[править | править код]