Нейронная сеть Коско

Архитектура нейронной сети Коско

Нейро́нная сеть Ко́ско, Двунапра́вленная ассоциати́вная па́мять (ДАП) — нейронная сеть, разработанная Бартом Коско. Это нейронная сеть с обратными связями, базируется на двух идеях: адаптивной резонансной теории Стефана Гросберга и автоассоциативной памяти Хопфилда.

ДАП является гетероассоциативной: входной вектор поступает на один набор нейронов, а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Как и сеть Хопфилда, ДАП способна к обобщению, вырабатывая правильные реакции, несмотря на искажённые входы. Кроме того, могут быть реализованы адаптивные версии ДАП, выделяющие эталонный образ из зашумленных экземпляров. Эти возможности сильно напоминают процесс мышления человека и позволяют искусственным нейронным сетям сделать шаг в направлении моделирования мозга.

Синхронная ДАП

Сеть состоит из двух слоёв элементов, между которыми имеются двухсторонние связи, соединённые с элементами по принципу все со всеми. Поэтому для описания сети может использоваться матрица весов. В случае, когда эта матрица квадратная и симметричная, ДАП превращается в автоассоциативную сеть Хопфилда.

Когда на вход сети подаётся зашумлённый сигнал, то передача сигналов внутри ДАП происходит так долго, пока сеть не найдёт наиболее близкий эталон (ассоциацию), которому ранее обучали сеть. Этот процесс можно интерпретировать как воспоминание и стабилизацию памяти.

Непрерывная ДАП

Непрерывные асинхронные ДАП отвергают синхронность и разрывность, но функционируют в основном аналогично дискретным версиям.

В синхронной ДАП формальные нейроны в слоях 1 и 2 синхронные, то есть каждый нейрон обладает памятью, причём все нейроны изменяют состояния одновременно. В асинхронной системе любой нейрон свободен изменять состояние в любое время, когда его вход предписывает это сделать.

При определении функции активации нейрона использовался простой порог, тем самым образуя разрывность передаточной функции нейронов. К этому моменту становится известен метод обратного распространения ошибки, поэтому появляется возможность создать непрерывную модификацию ДАП. Было показано, что сигмоида способна усиливать низкоуровневые сигналы, в то же время сжимая динамический диапазон нейронов. Непрерывная ДАП может иметь сигмоидальную функцию с величиной l, близкой к единице, образуя тем самым нейроны с плавной и непрерывной реакцией.

Адаптивная ДАП

Адаптивная ДАП изменяет свои веса в процессе функционирования. Это означает, что подача на вход сети обучающего набора входных векторов заставляет её изменять энергетическое состояние до получения резонанса. Постепенно кратковременная память превращается в долговременную память, настраивая сеть в результате её функционирования. В процессе обучения векторы подаются на слой А, а ассоциированные векторы на слой В. Один из них или оба вектора могут быть зашумлёнными версиями эталона; сеть обучается исходным векторам, свободным от шума. В этом случае она извлекает сущность ассоциаций, обучаясь эталонам, хотя «видела» только зашумлённые аппроксимации.

Конкурирующая ДАП

Во многих конкурирующих нейронных системах наблюдаются некоторые виды конкуренции между нейронами. В нейронах, обрабатывающих сигналы от сетчатки, латеральное торможение приводит к увеличению выхода наиболее высокоактивных нейронов за счёт соседних. Такие системы увеличивают контрастность, поднимая уровень активности нейронов, подсоединённых к яркой области сетчатки, в то же время ещё более ослабляя выходы нейронов, подсоединённых к тёмным областям.

В ДАП конкуренция реализуется взаимным соединением нейронов внутри каждого слоя посредством дополнительных связей. Веса этих связей формируют другую весовую матрицу с положительными значениями элементов главной диагонали и отрицательными значениями остальных элементов.

См. также

• Ассоциативная память
• Нейронная сеть Хопфилда
• Рекуррентные нейронные сети

Литература

• Kosko B. Bi-directional associative memories // IEEE Transactions on Systems, Man and Cybernetics. — 1987. — С. 18(1):49-60.

• Kosko B. Competitive adaptive bi-directional associative memories. // In Proceedings of the IEEE First International Conference on Neural Networks, eds. M.Caudill and C.Butler. — San Diego, 1987. — С. vol. 2, pp. 759-66.

• Kosko B. Constructing an associative memory. — 1987. — С. pp. 137-44.

• Kosko В., Guest С. Optical bi-directional associative memories. // Sosiety for Photo-optical and Instrumentation Engineers Proceedings: Image Understanding. — 1987. — С. 758:11-18.

• Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика = Neural Computing. Theory and Practice. — М.: Мир, 1992. — 240 с. — ISBN 5-03-002115-9. Архивная копия от 30 июня 2009 на Wayback Machine