Softmax

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Softmax — это обобщение логистической функции для многомерного случая. Функция преобразует вектор размерности в вектор той же размерности, где каждая координата полученного вектора представлена вещественным числом в интервале [0,1] и сумма координат равна 1.

Координаты вычисляются следующим образом:

Применение в машинном обучении[править | править код]

Функция Softmax применяется в машинном обучении для задач классификации, когда количество возможных классов больше двух (для двух классов используется логистическая функция). Координаты полученного вектора при этом трактуются как вероятности того, что объект принадлежит к классу . Вектор-столбец при этом рассчитывается следующим образом:

где — вектор-столбец признаков объекта размерности ; транспонированная матрица весовых коэффициентов признаков, имеющая размерность ; — вектор-столбец с пороговыми значениями размерности (см. перцептрон), где — количество классов объектов, а — количество признаков объектов.

Часто Softmax используется для последнего слоя глубоких нейронных сетей для задач классификации. Для обучения нейронной сети при этом в качестве функции потерь используется перекрёстная энтропия.