Метод коррекции с обратной передачей сигнала ошибки

Метод коррекции с обратной передачей сигнала ошибки — стохастический метод обучения персептрона, необходимый, чтобы гарантировать сходимость при переменных связях больше, чем у одного слоя. Метод был предложен Розенблаттом для перцептрона с переменными S-A связями и может быть использован для бинарных многослойных перцептронов. Является альтернативой методу обратного распространения ошибки, но, в отличие от него, гарантирует процесс сходимости (достижение решения).

Алгоритм[править | править код]

Для каждого R-элемента устанавливается ошибка $E_{r}=R^{*}-r^{*}$ , где $R^{*}$ - требуемая, а $r^{*}$ - достигнутая реакция.
Для каждого А-элемента $a_{i}$ $a_{i}$ ошибка вычисляется следующим образом:
- Вначале $E_{i}=0$ ;
- Если элемент $a_{i}$ активен и связь $c_{ir}$ ( ${\textstyle c_{ir}=a_{i}\cdot w_{ir}}$ или в общем случае ${\textstyle c_{ir}=f(w_{ir},a_{i})}$ ) оканчивается на R-элементе с ненулевой ошибкой $E_{r}$ , отличающейся по знаку от веса связи $w_{ir}$ , то с вероятностью $p_{1}$ к $E_{i}$ следует прибавить коррекцию, равную -1;
- Если элемент $a_{i}$ неактивен и связь $c_{ir}$ оканчивается на R-элементе с ненулевой ошибкой $E_{r}$ , не отличается (совпадает) по знаку от веса связи $w_{ir}$ , то с вероятностью $p_{2}$ к $E_{i}$ следует прибавить коррекцию, равную +1;
- Если элемент $a_{i}$ неактивен и связь $c_{ir}$ оканчивается на R-элементе с ненулевой ошибкой $E_{r}$ , отличающейся по знаку от веса связи $w_{ir}$ (или $w_{ir}=0$ ), то с вероятностью $p_{3}$ к $E_{i}$ следует прибавить коррекцию, равную +1;
- При всех остальных условиях $E_{i}$ не изменяется.
Если $E_{i}\not =0$ , то ко всем активным связям, оканчивающимся на А или R элементе, прибавляем коррекцию $\eta$ со знаком, совпадающим со знаком $E_{i}$ , т.е. $\Delta w_{ij}=a_{i}^{*}sign(E_{i})\varepsilon$ , где $\varepsilon$ - абсолютное значение $\eta$ (как правило единица).