Рекуррентная нейронная сеть

Материал из Википедии — свободной энциклопедии
Перейти к: навигация, поиск

Рекуррентные нейронные сети (англ. Recurrent neural network; RNN) — вид нейронных сетей, в которых имеется обратная связь. При этом под обратной связью подразумевается связь от логически более удалённого элемента к менее удалённому. Наличие обратных связей позволяет запоминать и воспроизводить целые последовательности реакций на один стимул. С точки зрения программирования в таких сетях появляется аналог циклического выполнения, а с точки зрения систем — такая сеть эквивалентна конечному автомату. Такие особенности потенциально предоставляют множество возможностей для моделирования биологических нейронных сетей. Однако большинство возможностей на данный момент плохо изучены в связи с возможностью построения разнообразных архитектур и сложностью их анализа.

Перцептроны Розенблатта с обратной связью[править | править вики-текст]

Первые идеи о нейронных сетях с обратными связями описал Ф.Розенблатт в заключение своей книги о перцептронах в 1962 году. Ф.Розенблатт дал качественное описание нескольких видов перцептронов с обратной связью. Первая группа таких перцептронов была предназначена для вырабатывания избирательного внимания, а вторая группа для обучения последовательности реакций.

Однослойные сети с обратной связью[править | править вики-текст]

После выхода книги Минского с критикой возможностей элементарного перцептрона в 1969 году работы по изучению искусственных нейронных сетей практически прекратились. Только небольшие группы продолжали исследования в этом направлении. Одна из таких групп в Массачусетском Технологическом институте в 1978 году начала свою работу. Джон Хопфилд был приглашен в качестве консультанта из отделения биофизики лаборатории Бела. Его идеи так же как и Розенблатта базировались на результатах исследования в нейрофизиологии. Главной заслугой Хопфилда является энергетическая интерпретация работы искусственной нейронной сети. Что же касается самой нейронной сети Хопфилда, то она обладает рядом недостатков из-за которых она не может быть использована практически. Впоследствии Коско развил идеи Хопфилда и разработал модель гетероассоциативной памяти — нейронная сеть Коско. Основным недостатком этих сетей является отсутствие устойчивости, а в случаях когда она достигается сеть становится эквивалентной однослойной нейронной сети из-за чего она не в состоянии решать линейно неразделимые задачи. В итоге емкость таких сетей крайне мала. Несмотря на эти практические недостатки в области распознавания, данная сеть успешно применялась в исследованиях энергетического хаоса, возникновения аттракторов, а также с этого времени об искусственных нейронных сетях стало возможным говорить как об ассоциативной памяти.

Рекуррентные сети с единичной задержкой[править | править вики-текст]

Начиная с нейронной сети Джордана, отчет о которой он публикует в 1986 году начинается новый этап в развитии нейронных сетей с обратной связью. Затем в 1990 году Элман предлагает модифицировать сеть Джордана — в результате получается наиболее известная на данный момент нейронная сеть Элмана. С этого момента такие сети называют рекуррентными. Как правило все они базируются на многослойном перцептроне, который становится в это время очень популярным. Такие сети по своему устройству и разнообразию становятся много проще своих предшественников, но зато они приспособлены для решения задачи запоминания последовательностей без проблем с устойчивостью. Это достигается тем, что сигнал с выходного слоя имея только единичную задержку поступает на дополнительные входы (сеть Джордана), и не поступает на первоначальные входы (как в сети Хопфилда) — из-за чего не происходит смешивания сигналов и нет вопроса с устойчивостью. Сеть Элмана отличается лишь тем, что сигнал с внутреннего слоя поступает на дополнительные входы. Такие дополнительные входы называют контекстом, которые служат для хранения информации о предыдущем стимуле, благодаря чему реакция сети теперь зависит не только от текущего стимула, но и предыдущего.

См. также[править | править вики-текст]

Литература[править | править вики-текст]

  • J. J. Hopfield [PNAS Reprint (Abstract) PNAS Reprint (PDF) Neural networks and physical systems with emergent collective computational abilities.] // Proceedings of National Academy of Sciences. — April 1982. — С. vol. 79 no. 8 pp. 2554—2558.
  • Jordan, M. I. Serial order: A parallel distributed processing approach. // Institute for Cognitive Science Report 8604. — University of California, San Diego, 1986.