Нервная сеть

Схема простой нейронной сети. Зеленым цветом обозначены входные нейроны, голубым скрытые нейроны, фиолетовым — выходной нейрон

Нейронная сеть — термин, имеющий два значения:

1.Биологическая нейронная сеть — сеть, состоящая из биологических нейронов, которые связаны или функционально объединены в нервной системе. В нейронауках зачастую определяется как группа нейронов, которые выполняют специфические физиологические функции.

2.Искусственная нейронная сеть — сеть, состояшая из искусственных нейронов (программируемая конструкция, имитирующая свойства биологических нейронов). Искусственные нейронные сети используются для изучения свойств биологических нейронных сетей, а также для решения задач в сфере искусственного интеллекта.

В данной статье рассматриваются отношения между двумя этими понятиями, подробное описание каждого из них дано в отдельных статьях — биологическая нейронная сеть и искусственная нейронная сеть.

Общий обзор

Биологическая нейронная сеть состоит из группы или групп химически или функционально связанных нейронов. Один нейрон может быть связан со многими другими нейронами, а общее количество нейронов и связей в сети может быть достаточно большим. Место контакта нейронов называется синапсом, типичный синапс — аксо-дендритический химический. Передача импульсов осуществляется химическим путём с помощью медиаторов или электрическим путём посредством прохождения ионов из одной клетки в другую.

Исследования в сфере искусственного интеллекта и когнитивного моделирования пытаются имитировать некоторые свойства биологических нейронных сетей. В сфере искусственного интеллекта искусственные нейронные сети были успешно применены для распознавания речи, анализа изображений и адаптивного управления в целях разработки программных агентов (например, в компьютерных и видеоиграх) или автономных роботов. Большинство искусственных нейронных сетей, используемых в настоящее время сфере искусственного интеллекта, разработаны на основе статистических методов, теории оптимизации и теории управления.

В сфере когнитивного моделирования ведётся физическое или математическое моделирование поведения нейронных систем, начиная с уровня отдельных нейронов (например, моделирование реакции нейрона на стимул), с выходом на уровень нейронных кластеров (например, моделирование выхода дофамина в базальных ганглиях) и организма в целом (например, моделирование ответа организма на раздражители).

История исследований нейронных сетей

Основы теории нейронных сетей были независимо разработаны А.Бэйном (1873) и У.Джеймсом (1890). В своих работах они рассматривают мыслительную деятельность как результат взаимодействия между нейронами в головном мозге.

Согласно Бэйну, любая деятельность ведёт к активизации определенного набора нейронов. При повторении той же деятельности связи между этими нейронами укрепляются. Согласно его теории, эти повторения ведут к формированию памяти. Научное сообщество того времени восприняло теорию Бэйна скептически, поскольку следствием её являлось возникновение чрезмерного количества нейронных связей в мозге. Теперь очевидно, что мозг является чрезвычайно сложной конструкцией и способен работать с несколькими задачами одновременно.

Теория Джеймса была схожа с теорией Бэйна, но в то же время Джеймс предположил, что формирование памяти происходит в результате прохождения электрических токов между нейронами в головном мозге, не требуя соединений нейронов для каждого акта запоминания или действия.

Британский физиолог Ч.Шеррингтон в 1898 провел эксперименты для проверки теории Джеймса. Он пропускал электрический ток вдоль спинного мозга крыс. При этом вместо ожидаемого усиления тока, согласно теорри Джеймса, Шеррингтон обнаружил, что электрический ток ослабевает с течением времени. Результаты экспериментов Шеррингтона сыграли важную роль в разработке теории привыкания.

В 1943 Мак-Каллок и Питтс разработали компьютерную модель нейронной сети на основе математических алгоритмов. Они назвали эту модель «пороговой логикой». Модель Мак-Каллока-Питтса заложила основы двух различных подходов исследований нейронных сетей. Один подход был ориентирован на изучение биологических процессов в головном мозге, другой — на применение нейронных сетей для искусственного интеллекта.

В конце 1940-х канадский физиолог и психолог Дональд Хебб выдвинул гипотезу интерпретациии обучения на основе механизма нейронной пластичности, известную как теорию Хебба. Теория Хебба считается типичным случаем самообучения, при котором испытуемая система спонтанно обучается выполнять поставленную задачу, без вмешательства со стороны экспериментатора. В более поздних вариантах теория Хебба легла в основу описания явления долговременной потенциации. Эти идеи с 1948 начали применяться для вычислительных моделей в B-машинах А.Тьюринга.

Фарли и Кларк в 1954 с использованием компьютеров разработали имитацию сети Хебба в Массачусетском технологическом институте. Другие исследования нейронных сетей спомощью компьютерного моделирования были проведены в 1956 Рочестером, Холландом, Хебитом и Дуда.

В 1957 Ф.Розенблатт разработал перцептрон — математическую и компьютерная модель восприятия информации мозгом, на основе двухслойной обучающей компьютерной сети, использующей действия сложения и вычитания. В математической нотации Розенблатт описал также схему не только основного перцептрона, но и (схему логического сложения), которая не могла быть реализована до разработки в 1975 Вербосом метода обратного распространения ошибки.

Исследования нейронных сетей застопорились после публикации работы по машинному обучению Минского и Пейперта в 1969. Они обнаружили две основные проблемы, связанные с вычислительными машинами, которые обрабатывают нейронные сети. Первая проблема состояла в том, что однослойные нейронные сети не могли содержать логическое сложение. Второй важной проблемой было то, что компьютеры не обладали достаточной вычислительной мощностью, чтобы эффективно обрабатывать огромный обьем вычислений, необходимых для больших нейронных сетей. Исследования нейронных сетей замедлились до того времени, когда компьютеры достигли больших вычислительных мощностей. Одним из важных более поздних достижений было открытие метода обратного распространения ошибки, который позволил решить проблему с логическим сложением.

Когнитрон, разработаный К.Фукусимой в 1975, был одной из первых многослойных нейронных сетей с алгоритмом обучения. Фактическая структура сети и методы, используемые в когнитроне для задания относительных весов связей, варьировались от одной стратегии к другой, каждая из стратегий имела свои преимущества и недостатки. Сети могли распространять информацию только в одном направлении, или перебрасывать информацию из одного конца в другой, пока не активировались все узлы и сеть не приходила в конечное состояние. Достичь двусторонней передачи информации между нейронами/узлами удалось лишь в сети Хопфилда (1982), и специализация этих узлов для конкретных целей была введена в первых гибридных сетях.

Алгоритм параллельной распределенной обработки данных в середине 1980-х стал популярен под названием коннективизма. Работа Руммельхарта и Мак-Клелланда (1986) полностью использует коннективизм для компьютерного моделирования нейронных процессов.

Распространение сетей, основанных на методе обратного распространения ошибки, вызвало большой энтузиазм в научном сообществе и породило многочисленные споры о том, может ли такое обучение быть реализовано в головном мозге, отчасти потому, что механизм обратного прохождения сигнала не был очевидным в то время, но главным образом потому, что не было явного источника «обучающего» или «целевого» сигнала. Тем не менее с 2006 было предложено несколько неконтролируемых процедур обучения нейронных сетей с одним или несколькими слоями с использованием так называемых алгоритмов глубокого обучения. Эти алгоритмы могут быть использованы для изучения промежуточных представлений, как с выходным сигналом, так и без него, чтобы понять основные особенности распределения сенсорных сигналов, поступающих на каждый слой нейронной сети.

Головной мозг, нейронные сети и компьютеры

Компьютерная модель ветвистой архитектуры дендритов пирамидальных нейронов.

Нейронные сети, используемые в сфере искусственного интеллекта, традиционно рассматриваются как упрощенные модели нейронных сетей головном мозге, хотя вопрос о том, в какой мере искусственные нейронные сети отражают реальную структуру головного мозга, по-прежнему остается открытым.

Предметом исследований в теоретической нейробиологии является вопрос об уровне сложности и свойствах, которыми должны обладать отдельные нейроны для того, чтобы воспроизвести нечто, похожее на разум животных.

Исторически сложилось, что развитие компьютерной техники шло от архитектуры фон Неймана, которая основана на последовательной обработке и исполнении явных инструкций. С другой стороны, разработка искусственных нейронных сетей основывалась на моделях обработки информации в биологических системах, которые предполагают параллельную обработку информации, а также использование неявных инструкций на основе распознавания «сенсорных» входов из внешних источников. Другими словами, нейронная сеть представляет собой сложный статистический процессор (в отличие от систем, основанных на последовательной обработке и исполнении команд).

Нейрокодирование основано на том, как нейроны представляют сенсорную и другую информацию ​​в мозге. Основная цель изучения нейрокодирования — выявить характер связи между стимулом и индивидуальной или групповой реакцией нейронов на него, а также взаимосвязь между электрической активностью нейронов в группе. Считается, что нейроны могут кодировать как цифровую, так и аналоговую информацию.

Нейронные сети и искусственный интеллект

Основная статья: Искусственная нейронная сеть

Нейронной сети (НС), в случае искусственных нейронов называется искусственных нейронных сетей (ИНС) или моделирование нейронных сетей (SNN), является взаимосвязанной группе естественных или искусственных нейронов, которые используются математические и вычислительные модели для обработки информации на основе connectionistic подход к вычислению. В большинстве случаев ИНС является адаптивная система, которая меняет свою структуру, основанную на внешней или внутренней информации, которая течет через сеть.

С практической точки зрения нейронные сети являются нелинейными статистического моделирования данных и принятия решений инструментов. Они могут быть использованы для моделирования сложных отношений между входами и выходами или найти закономерности в данных.

Тем не менее, парадигма нейронных сетей — то есть скрытые, не явные, обучения подчеркивается, — кажется, больше соответствуют своего рода природный ум, чем традиционный символ на основе искусственного интеллекта, который хотел бы подчеркнуть, наоборот, основанной на правилах обучения.

[Править] BackgroundAn искусственной нейронной сети включает в себя сеть из простых элементов обработки (искусственные нейроны), которые могут проявлять сложных глобальных поведения, определяются связи между элементами и обработки параметров элементов. Искусственные нейроны были впервые предложены в 1943 году Уоррен Маккалок, нейрофизиолог, и Уолтер Питтс, логик, который сначала сотрудничал в Чикагском университете [19].

Один классический тип искусственной нейронной сети Хопфилда периодически чистый.

В нейронной сети модель простых узлов (которые можно назвать целый ряд имен, в том числе «нейронов», «neurodes», «Обработка элементов» (ПЭ) и «единицы»), связанных вместе, чтобы сформировать сеть узлов — отсюда и термин «нейронных сетей». В то время как нейронные сети не должна быть адаптивной как таковой, ее практическое применение поставляется с алгоритмами, направленные на изменение силы (веса) соединений в сети для получения желаемого сигнала потока.

В современных реализациях программного обеспечения искусственных нейронных сетей подхода, основанного на биологии более или менее был оставлен на более практический подход, основанный на статистических данных и обработки сигналов. В некоторых из этих систем, нейронные сети, или части нейронных сетей (таких, как искусственные нейроны), которые используются в качестве компонентов больших систем, которые объединяют как адаптивные и не адаптивные элементы.

Концепция нейронной сети, кажется, впервые был предложен Аланом Тьюрингом в 1948 статье «Интеллектуальные машины».

[Править] Применение природных и искусственных нейронных утилита networksThe искусственных моделях нейронных сетей заключается в том, что они могут быть использованы для вывода функция из наблюдений, а также использовать его. Неконтролируемое нейронных сетей также может быть использован, чтобы узнать представлений вход, захватить основные характеристики входного распределения, см., например, машина Больцмана (1983), а в последнее время, глубокое изучение алгоритмов, которые могут неявно изучают функции распределения наблюдаемых данных. Обучение в нейронной сети особенно полезно в случаях, когда сложность данных или задачи делает создание таких функций руки нецелесообразно.

Задачи, которые искусственные нейронные сети применяются, как правило, подпадают под следующие категории:

Функция приближения и регрессионного анализа, в том числе прогнозирования временных рядов и моделирования. Классификация, в том числе картины и последовательность признания, новинка обнаружения и последовательного принятия решений. Обработка данных, в том числе фильтрации, кластеризации, слепой разделения сигналов и сжатия. Области применения включают ИНС системы идентификации и контроля (управления транспортным средством, управление технологическими процессами), игровые и принятия решений (нарды, шахматы, спортивные), распознавания (радиолокационных систем, лицо идентификации, распознавания объектов), последовательность признания (жесты, речь, рукописного распознавания текста), медицинская диагностика, финансовые приложения, интеллектуального анализа данных (или обнаружения знаний в базах данных «, KDD»), визуализации и по электронной почте спам.

Нейронные сети и нейронаука

Theoretical и вычислительной неврологии является полем связана с теоретического анализа и компьютерного моделирования биологических нейронных систем. Так как нейронные системы тесно связаны с когнитивными процессами и поведением, области тесно связаны с когнитивной и поведенческой модели.

Цель поле для создания моделей биологических нейронных систем, чтобы понять, каким образом биологические системы работают. Чтобы получить это понимание, нейрофизиологи стремиться сделать связь между наблюдаемыми биологическими процессами (данных), биологически обоснованных механизмов нейронной обработки и обучения (биологических моделях нейронных сетей) и теории (статистической теории обучения и теории информации).

Типы моделей

Many модели используются, определяется на различных уровнях абстракции и моделирования различных аспектов нервной системе. Они варьируются от модели краткосрочного поведение отдельных нейронов, через модели динамики нейронной схемы, связанные с взаимодействием между отдельными нейронами, в модели поведения, связанные с абстрактным нейронных модулей, которые представляют полный подсистем. К ним относятся модели долгосрочных и краткосрочных пластичность нервной системе и ее связи с обучением и памятью, от отдельных нейронов в системном уровне.

Современные исследования

это неиспользуемые раздел требует цитат для обеспечения возможности проверки.

Хотя первоначально исследования были обеспокоены главным образом с электрическими характеристиками нейронов, особенно важная часть расследования в последние годы изучение роли нейромодуляторов, таких как допамин, ацетилхолин и серотонин в отношении поведения и обучения.

Биофизические модели, такие как теория BCM, сыграли важную роль в понимании механизмов синаптической пластичности, и имел применения как в информатике и неврологии. Исследования продолжаются в понимании вычислительных алгоритмов, используемых в мозге, с недавних биологических доказательств для радиальных сетей основе и нейронные механизмы обратного распространения, как для обработки данных.

Вычислительного устройства были созданы в CMOS для биофизического моделирования и neuromorphic вычислений. Более поздние усилия перспективных для создания наноустройств [20] для очень больших масштабах основных компонентов анализа и свертки. В случае успеха эти усилия могли бы вступить в новую эру нейронных вычислений [21], что это шаг вперед цифровых вычислительных, так как оно зависит от обучения, а не программированием, а потому, что это принципиально аналоговые, а не цифровой, хотя первые экземпляры могут на самом деле быть с CMOS цифровых устройств.

Архитектура

Это неиспользуемые раздел требует цитат для обеспечения возможности проверки.

Базовая архитектура состоит из трех типов нейронов слоя: входной, скрытый и выходной. В прямой связью сети, прохождение сигнала от входа до выхода единицы, строго в прямой связью направлении. Обработка данных может растянуться на несколько слоев единиц, а не обратные связи присутствуют. Периодические сети содержат обратной связи. В отличие от прямой связью сети, динамические свойства сети очень важны. В некоторых случаях, активация значения единиц проходят процесс релаксации, что сеть будет развиваться в стабильное состояние, в котором эти активаций не менять больше.

В других приложениях, изменения активации значения выходных нейронов являются существенными, так, что динамическое поведение является выход в сеть. Другие архитектуры нейронной сети включают адаптивную теории резонанса карты и конкурентных сетей.

Критика

A общей критикой нейронных сетей, в частности, в робототехнике, в том, что они требуют большого разнообразия обучения для реальных операций. Это не удивительно, так как любая машина должна обучения достаточно примеров представителя для того, чтобы захватить основную структуру, которая позволяет обобщить новых случаев. Дин Pomerleau, в своих исследованиях, представленных в статье «Знания на основе обучения искусственных нейронных сетей для автономного вождения робот» использует нейронные сети для обучения робота автомобиль покататься на несколько типов дорог (одна полоса, многополосных, грязи и т. д.). Большое количество его исследование посвящено (1) экстраполяция несколько сценариев обучения от одного опыта обучения, и (2) сохранение прошлого разнообразия обучения, с тем, что система не станет перетренированности (если, например, представлена ​​серией правого поворотов — она ​​не должна научиться всегда повернуть направо). Эти проблемы являются общими в нейронных сетях, которые должны решить из числа самых разнообразных ответов, но могут быть решены несколькими способами, например, случайно сдачи обучающих примеров, используя численный алгоритм оптимизации, который не слишком большие шаги, когда изменение сетевых соединений после, например, или, группируя примеров так называемых мини-партиями.

АК Дьюдни, бывший обозреватель журнала Scientific American, писал в 1997 году: «Хотя нейронных сетей делают решить несколько проблем, игрушки, свои полномочия вычислений настолько ограниченным, что я удивлен, никто принимает их всерьез в качестве общего решения проблем, инструмент». (Дьюдни, стр. 82.)

Аргументы в пользу позиции Дьюдни в том, что для реализации крупных и эффективных программных нейронных сетей, много ресурсов, переработки и хранения должны быть зафиксированы. В то время как мозг аппаратных учетом задач обработки сигналов с помощью графика нейронов, имитируя даже наиболее упрощенной форме на фон Неймана технология может заставить конструктор Н. Н. заполнить многие миллионы строк базы данных для соединения — который может потреблять огромное количество памяти компьютера и на жестком диске. Кроме того, конструктор Н. Н. систем часто приходится имитировать передачу сигналов по многим из этих соединений и связанные с ними нейроны, — которые должны часто сочетается с невероятным количеством процессоров вычислительной мощности и времени. В то время как нейронные сети часто приводят к эффективным программам, они тоже часто делают это за счет эффективности (они, как правило, потребляют значительное количество времени и денег).

Аргументы против позиции Дьюдни в том, что нейронные сети были успешно использованы для решения многих сложных и разнообразных задач, начиная с автономно летающих самолетов [2] для обнаружения мошенничества кредитной карты [3].

Технология писатель Роджер Бриджмена прокомментировал заявления Дьюдни о нейронных сетей:

Нейронные сети, например, находятся на скамье подсудимых не только потому, что они были раздутыми до небес, (что не имеет?), Но и потому, что вы можете создать успешную сеть без понимания того, как она работает: кучу цифр, которая захватывает его поведение, по всей вероятности быть «непрозрачным, нечитаемые таблицы … бесполезны в качестве научного ресурса». Несмотря на решительное заявление, что наука является не технология, Дьюдни кажется здесь, чтобы пригвоздить к позорному столбу нейронных сетей, как плохой наукой, когда большинство из тех, размышления, они просто пытаются быть хорошими инженерами. Нечитаемые таблицы, полезная машина могла читать все еще будет хорошо стоит иметь. [22]

В ответ на такую ​​критику, следует отметить, что хотя это правда, что анализ, что было изучено с помощью искусственной нейронной сети трудно, гораздо легче сделать, чем анализировать то, что узнал от биологической нейронной сети. Кроме того, исследователей, принимавших участие в исследовании алгоритмов обучения нейронных сетей постепенно раскрытии общих принципов, которые позволяют обучения машины, чтобы быть успешным. Например, Bengio и LeCun (2007) написал статью о местном против нелокальной обучения, а также мелкой против глубоких архитектура [4].

Некоторые другие критики пришли от верующих гибридных моделей (сочетание нейронных сетей и символический подходы). Они выступают за смешивать эти два подхода и считаем, что гибридные модели могут лучше отразить механизмы человеческого разума (Солнце и Bookman 1990).

См. также

• Искусственная нейронная сеть
• Нейронная сеть Ворда
• Нейронная сеть Кохонена
• Нейронная сеть Хопфилда
• Нейронная сеть Коско
• Нейронная сеть Джордана
• Нейронная сеть Элмана