Регуляризация (математика)

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Регуляризация в статистике, машинном обучении, теории обратных задач — метод добавления некоторой дополнительной информации к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Эта информация часто имеет вид штрафа за сложность модели. Например, это могут быть ограничения гладкости результирующей функции или ограничения по норме векторного пространства.

C точки зрения методологии регуляризация означает попытку применить бритву Оккама к решению задачи [1] . С байесовской точки зрения многие методы регуляризации соответствуют добавлению некоторых априорных распределений на параметры модели.

Некоторые виды регуляризации:

  • L_1-регуляризация (англ. lasso regression):
    L_1 = \sum_i{(y_i - y(t_i))}^2 + \lambda \sum_i {|a_i|}.
  • Регуляризация Тихонова (в английской литературе — ridge regression) для интегральных уравнений позволяет балансировать между соответствием данным и маленькой нормой решения:
    L_2 = \sum_i{(y_i - y(t_i))}^2 + \lambda \sum_i {a_i}^2. Простыми словами: Переобучение в большинстве случаев проявляется в том, что в получающихся многочленах слишком большие коэффициенты. Соответственно, и бороться с этим можно довольно естественным способом: нужно просто добавить в целевую функцию штраф, который бы наказывал модель за слишком большие коэффициенты.

Примечания[править | править вики-текст]