Теорема Цыбенко

Теорема Цыбенко, Универсальная теорема аппроксимации — теорема, доказанная Джорджем Цыбенко в 1989 году, которая утверждает, что искусственная нейронная сеть прямой связи (англ. feed-forward; в которых связи не образуют циклов) с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор $\mathbf {w} _{1},\mathbf {w} _{2},\dots ,\mathbf {w} _{N},\mathbf {\alpha } ,$ и $\mathbf {\theta }$, где

$\mathbf {w} _{i}$ — веса между входными нейронами и нейронами скрытого слоя,

$\mathbf {\alpha }$ — веса между связями от нейронов скрытого слоя и выходным нейроном,

$\mathbf {\theta }$ — смещения для нейронов входного слоя.

Формальное изложение

Пусть $\varphi$ любая непрерывная сигмоидная функция, например, $\varphi (\xi )=1/(1+e^{-\xi })$. Тогда, если дана любая непрерывная функция действительных переменных $f$ на $[0,1]^{n}$ (или любое другое компактное подмножество $\mathbb {R} ^{n}$) и $\varepsilon >0$, то существуют векторы $\mathbf {w_{1}} ,\mathbf {w_{2}} ,\dots ,\mathbf {w_{N}} ,\mathbf {\alpha }$ и $\mathbf {\theta }$ и параметризованная функция $G(\mathbf {\cdot } ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } ):[0,1]^{n}\to R$ такая, что для всех $\mathbf {x} \in [0,1]^{n}$ выполняется

${\big |}G(\mathbf {x} ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )-f(\mathbf {x} ){\big |}<\varepsilon ,$

где

$G(\mathbf {x} ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )=\sum _{i=1}^{N}\alpha _{i}\varphi (\mathbf {w} _{i}^{T}\mathbf {x} +\theta _{i}),$

и $\mathbf {w} _{i}\in \mathbb {R} ^{n},$ $\alpha _{i},\theta _{i}\in \mathbb {R} ,$ $\mathbf {w} =(\mathbf {w} _{1},\mathbf {w} _{2},\dots ,\mathbf {w} _{N}),$ $\mathbf {\alpha } =(\alpha _{1},\alpha _{2},\dots ,\alpha _{N}),$ и $\mathbf {\theta } =(\theta _{1},\theta _{2},\dots ,\theta _{N}).$

Ссылка

• Cybenko, G. V. Approximation by Superpositions of a Sigmoidal function // Mathematics of Control Signals and Systems. — 1989. — Т. 2, № 4. — С. 303—314.
• Hassoun, M. Fundamentals of Artificial Neural Networks. — MIT Press, 1995. — С. 20, 48.

См. также

• Теорема Колмогорова — Арнольда
• Теорема сходимости перцептрона
• Перцептрон
• Победитель получает всё