Перцептрон с обратной связью

Перцептроны с обратной связью — наиболее общий вид перцептронов, некоторые виды которых были описаны Ф. Розенблаттом. Они отличаются от простых перцептронов наличием обратной связи. Благодаря этому слои элементов, находящихся сравнительного далеко от сенсорных входов, могут воздействовать на активность слоёв, расположенных ближе к входу. Согласно современной классификации этот тип нейронной сети относится к рекуррентным нейронным сетям.

Перцептроны с избирательным вниманием

Архитектура простейшего перцептрона с избирательным вниманием

Если к простейшему перцептрону добавить обратную связь с постоянными (неизменяемыми) весовыми коэффициентами от R-элементов к A-элементам, то можно получить простейший вид перцептрона с избирательным вниманием. На рисунке сплошными линиями обозначены связи с постоянными весами, а пунктирными — связи с переменными весами. Обратная связь случайным образом (в равных пропорциях) выбрана с весом +1 (возбуждающая) или с весом −1 (тормозящая). В этом смысле эти обратные связи выбраны так же, как и связи от S-элементов к А-элементам, но в отличие от этого первого слоя во втором слое имеются связи от каждого R-элемента к каждому А-элементу. При этом время передачи каждой связи равно фиксированной постоянной $\tau$, а стимул удерживается на сетчатке в течение времени $\mathrm {T} >>\tau$.

Убедиться в том, что такой вид перцептрона способен к избирательному вниманию, можно на простом примере. Обучим систему следующим реакциям:

1. (r1 = 1, r2 = 0, r3 = 0, r4 = 0) — на треугольник;
2. (r1 = 0, r2 = 1, r3 = 0, r4 = 0) — на квадрат;
3. (r1 = 0, r2 = 0, r3 = 1, r4 = 0) — на положение фигуры в верхней части сетчатки;
4. (r1 = 0, r2 = 0, r3 = 0, r4 = 1) — на положение фигуры в нижней части сетчатки.

После обучения проверим реакцию на стимулы:

1. S1 — треугольник в верхней части поля (r1 = 1, r2 = 0, r3 = 1, r4 = 0) и квадрат в нижней части (r1 = 0, r2 = 1, r3 = 0, r4 = 1);
2. S2 — квадрат в верхней части поля и треугольник в нижней части.

Необходимо, чтобы такой перцептрон давал бы непротиворечивое описание формы и положения одного из двух стимулов, не учитывая другого, несмотря на то, что они присутствуют на сетчатке одновременно.

Для того, чтобы такая задача могла бы быть решена перцептроном с избирательным вниманием, в процессе обучения нужно добиться определённого распределения весовых коэффициентов, что зависит от количества А-элементов с правильной реакцией по отношению к их общему числу. Рассмотрим пересечение подмножества элементов, имеющих реакцию R (1,0,0,0), с подмножеством, имеющим реакцию R (1,0,1,0), то есть треугольник независимо от местоположения и треугольник в верхней части сетчатки. Окажется, что такое пересечение относительно велико, так как три из четырёх R-элементов находятся в одинаковом состоянии. То же самое справедливо и для комбинации треугольник независимо от местоположения и треугольник в нижней части сетчатки. Но комбинация R (1,0,0,0) и R (0,1,0,0), то есть треугольник и квадрат независимо от местоположения, имеет меньшее пересечение, так как только два из четырёх R-элементов находятся в одинаковом состоянии. Это же справедливо и для комбинации R (0,0,1,0) и R (0,0,0,1), то есть любая из фигур вверху или внизу.

Благодаря такому распределению весовых коэффициентов, во время распознавания произойдёт следующее. Если окажется, что по отношению к паре реакций (треугольник, квадрат) вначале доминирующим окажется треугольник [сигнал на выходе (1,0,0,0)], то возбуждённое подмножество, в которое введено наибольшее подкрепление, будет давать реакцию «верх». Это случится из-за того, что сочетание «верх, треугольник» имеет значительно больший вес, чем сочетание «низ, квадрат». Если же реакция будет (0,1,0,0), то в системе возникнет противоположная тенденция, что приведёт к реакции (0,1,0,1).

Если же теперь вместо стимула S1 подать стимул S2, то предпочтение будет отдаваться реакциям (1,0,0,1) или (0,1,1,0).

По сути данный пример иллюстрирует решение задачи, которую может решать ДАП, с той лишь разницей, что перцептрон с избирательным вниманием имеет два слоя вместо одного и обучается по методу коррекции ошибки, а не с помощью умножения прямой и транспонированной матрицы. Эти отличия позволяют решать задачи линейно неразделимые, и благодаря им информационная ёмкость сети много больше ёмкости ДАП. Здесь так же в процессе работы сети случайно выбранный вектор (избирательным вниманием) достраивается до наиболее статистически верного эталона.

Перцептроны с обучением заданной программе

Архитектура четырёхслойного перцептрона для распознавания и управления R — последовательностями с неопределённой продолжительностью элементов

Это группа наиболее сложных по своей архитектуре искусственных рекуррентных нейронных сетей. Розенблаттом была дана теоретическая схема таких сетей, но до сих пор она не была промоделирована программно. Простейший вид такой сети вводится на основании перцептронов с избирательным вниманием, но так чтобы реакция зависела не только от текущего сложного (когда одновременно предъявляются несколько стимулов) стимула, а от последовательности таких стимулов определённой длины. Для этого вводится второй слой ассоциативных элементов с перекрёстными связями, которые могут образовывать между собой различные замкнутые контуры.

См. также

• Перцептрон
• Рекуррентные нейронные сети
• Обучение с подкреплением

Литература

• Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. — М.: Мир, 1965. — 480 с.