Сигмоида

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску
Логистическая кривая (сигмоида)

Сигмо́ида — это гладкая монотонная возрастающая нелинейная функция, имеющая форму буквы «S», которая часто применяется для «сглаживания» значений некоторой величины.

Часто под сигмоидой понимают логистическую функцию

Сигмоида ограничена двумя горизонтальными асимптотами, к которым стремится при стремлении аргумента к В зависимости от соглашения, этими асимптотами могут быть y = ±1) либо y = 0 в и y = +1 в .

Производная сигмоиды представляет собой колоколообразную кривую с максимумом в нуле, асимптотически стремящуюся к нулю в .

Семейство функций класса сигмоид[править | править код]

Сравнение некоторых сигмоидных функций, нормализованных таким образом, чтобы производная в начале координат была равна 1

В семейство функций класса сигмоид входят такие функции, как арктангенс, гиперболический тангенс и другие функции подобного вида.

  • Рациональная сигмоида:
  • Гладкая ступенька N-го порядка:
  • Корневая сигмоида:


Применение[править | править код]

Нейронные сети[править | править код]

Сигмоида применяется в нейронных сетях в качестве функций активации, которая позволяет как усиливать слабые сигналы, так и не насыщаться от сильных сигналов[1].

Производная сигмоиды может быть легко выражена через саму функцию, что позволяет существенно сократить вычислительную сложность метода обратного распространения ошибки, сделав его применимым на практике:

 — для гиперболического тангенса
 — для логистической функции

Логистическая регрессия[править | править код]

Логистическая функция используется в логистической регрессии следующим образом. В ней решается задача классификации с двумя классами ( и , где  — переменная, указывающая класс объекта), и делается предположение о том, что вероятность принадлежности объекта к одному из классов выражается через значения признаков этого объекта (действительные числа):

где  — некоторые коэффициенты, требующие подбора, обычно, методом наибольшего правдоподобия.

Выбор именно этой функции можно обосновать, рассматривая логистическую регрессию, как обобщённую линейную модель в предположении, что зависимая переменная распределена по закону Бернулли.

См. также[править | править код]

Литература[править | править код]

  • Mitchell, Tom M. Machine Learning. — WCB–McGraw–Hill, 1997. — ISBN 0-07-042807-7.

Примечания[править | править код]

Ссылки[править | править код]