Управляемый рекуррентный блок

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Управляемые рекуррентные блоки (англ. Gated Recurrent Units, GRU) — механизм вентилей для рекуррентных нейронных сетей, представленный в 2014 году. Было установлено, что его эффективность при решении задач моделирования музыкальных и речевых сигналов сопоставима с использованием долгой краткосрочной памяти (LSTM).[1] По сравнению с LSTM у данного механизма меньше параметров, т.к. отсутствует выходной вентиль.[2]

Архитектура[править | править код]

обозначает произведение Адамара. .

Переменные

  • : входной вектор
  • : выходной вектор
  • : вектор вентиля обновления
  • : вектор вентиля сброса
  • , и : матрицы параметров и вектор

Функции активации

См. также[править | править код]

Примечания[править | править код]

  1. Chung, Junyoung; Gulcehre, Caglar; Cho, KyungHyun; Bengio, Yoshua (2014). "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling". arXiv:1412.3555 [cs.NE].
  2. Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano – WildML. Дата обращения: 18 мая 2016. Архивировано 27 октября 2015 года.