Обсуждение:Обучение с учителем

Комментарий к откату правки [1] участника 91.192.68.111

Ссылка на робастную регрессию KXEN является скрытой рекламой. Она может быть оставлена, если будет дана ссылка на публикацию, где этот метод полностью и исчерпывающим образом изложен. Если же он является know-how фирмы, то он будет убран. В ВП должны упоминаться методы, про которые есть обширные исследования в открытой литературе если же есть только примеры успешных коммерческих применений, и только одной фирмой, то это - скрытая реклама.

Удалять ли перечень некоторых прикладных задач?

В защиту перечня: для не-специалистов просто необходимо давать примеры реальных задач «из жизни», без которых формальные определения могут быть недопоняты. — К.Воронцов 12:17, 4 июля 2008 (UTC)

Никто его не удалял - он перенесен в Задачи прогнозирования, и поставленна ссылка в см. также ... Разделение этой статьи очевидно - здесь нужно описывать само обучение (и, кстати, с различных позиций), а применение описывается отдельно, т.к. эти же задачи могут решаться любыми подходами и методами ... т.е. данные задачи не специфичны для этого подхода ... Они являются проблематикой отдельной науки ПрогностикаSergeyJ 12:47, 4 июля 2008 (UTC)

В таких случаях при редактировании статей в ВП принято давать комментарий совершаемым действиям в поле описания изменений, а желательно и в обсуждениии. Иначе очень сложно понять, что на самом деле было сделано. --Yury Chekhovich 13:27, 4 июля 2008 (UTC)

Ok. SergeyJ 15:12, 4 июля 2008 (UTC)

Обучение с учителем - это не раздел машинного обучения

Это способ обучения нейроной сети, разделом ИНС этот термин был занят. Кроме того, мне например не известно, какие еще методы, кроме ИНС, используют обучение с учителем? Да, и не надо путать, если другие методы просто решают задачу классификации. Нужно четко разделять задачи от методов решения. На данный момент что эта статья, что Классификация (машинное обучение) с какого то перепугу стали разделами машинного обучения. Со временем думаю это нужно переделать ... SergeyJ 22:06, 13 июля 2008 (UTC)

Обучение с учителем - это именно раздел машинного обучения. Одновременно это раздел искусственных нейронных сетей, Data Mining, прикладной статистики, искусственного интеллекта... да, и педагогики, видимо, тоже (но мы с Вами просто не в курсе). Не вижу в этом никаких противоречий, да и в иерархическую структуру вики это можно впихнуть, если подумать. Термины «обучение с учителем» и «обучение без учителя» используются в научной литературе для различения двух ситуаций: когда на объектах выборки заданы ответы, и когда не заданы. Это именно разные постановки задачи, но не какие-то конкретные способы или методы. Скорее этими терминами обозначаются два очень широкиех класса методов. Вся классификация и весь регрессионный анализ подпадают под обучение с учителем; кластеризация, карты Кохонена, метод главных компонент, метод независимых компонент причисляют к обучению без учителя. Такое деление не я придумал; посмотрите учебники: Митчела, Хасти-Тибширани-Фридмана, Бишопа. Неверно думать, что эти термины приватизировали нейросетевики. Возможно, в некоторых community термин «обучение без учителя» стал обозначать способ обучения нейроной сети; но это не общеупотребительный его смысл. К сожалению, поклонники нейронных сетей склонны описывать всё в своих терминах и отметать то, что в этих терминах описать не удаётся. Это печальная тенденция. Взять хотя бы учебник Хайкина по нейронным сетям: многие описанные там концепции возникли и развивались вне связи с нейронными сетями — в распознавании образов, в машинном обучении, в статистике; и многие полезные придумки, имеющие лишь косвенное отношение к нейросетям, подаются в этой книге поверхностно и неаккуратно, как второстепенные детали. Профессионалы обязаны интересоваться смежными областями и перенимать друг у друга лучшее, а не перетягивать терминологическое одеяло на себя. — К.Воронцов 18:43, 24 августа 2008 (UTC)

Ну, хорошо, здесь я хоть начал понимать, то о чем Вы говорите ... но пока не согласен :) ... Давайте подумаем вот над чем, что такое обучение ? С учителем или без это лишь разновидность, так-же сейчас отделяют с подкреплением ... Но почему вообще начали использовать термин обучение ... Вы пишите, что это якобы именно задачи ... Но что же это такое - "Задача обучения" - готовы ли Вы это объяснить ? В чем состоит задача обучения и причем здесь статистика ? — SergeyJ 21:57, 24 августа 2008 (UTC)

Я не употреблял термин «Задача обучения», это было бы слишком широко. Другое дело «Задача обучения по прецедентам». «Обучение с учителем» — один из частных случаев обучения по прецедентам (неверное, учитель может обучать и по-другому, без прецедентов — тогда надо признать, что понятия обучение по прецедентам и обучение с учителем пересекаются, но не сводятся одно к другому). Дана выборка пар «объект, ответ»; предполагается, что существует функциональная зависимость ответов от описаний объектов; требуется её найти и затем применять для получения ответов на новых объектах. Статистика очень даже при чём. Основные проблемы здесь носят именно статистический характер: Какой длины выборки достаточно для надёжного восстановления зависимости? Какова вероятность ошибочного ответа на новых объектах, которых не было в обучении? Какую взять модель зависимости и как настраивать в ней параметры, чтобы эта вероятность была минимальна? — К.Воронцов 08:25, 25 августа 2008 (UTC)

Вы, конечно, не употребляли, поэтому то я и призываю Вас подумать над этим, а так получается, что вы используете частные случаи лишь терминологически, не жалая посмотреть, что стоит за понятием "обучение". Заданные Вами вопросы действительно хороши - и я призываю Вас написать о них, как раз в этой статье. Если действительно, с помощью статистики получается все это определить перед обучением - это очень хорошо (но я в это ОЧЕНЬ сильно сомневаюсь), но замедте, что это будет т.н. предобработка данных, что следует отличать от собственно от обучения. В моем же представлении на эти вопросы можно ответить лишь после процесса обучения, и для понимания того, на сколько удачен алгоритм обучения можно применяя статистический анализ получить ответы на ваши вопросы и постфактум судить о методе. Но повторяю - сама статистика в процессе обучения не причем (если только могут использоваться некоторые статистические критерии близости) ... SergeyJ 16:55, 25 августа 2008 (UTC)

Тут есть что сказать и про Computational Learning Theory, и про скользящий контроль. Но я устал спорить с воинствующей профессиональной безграмотностью. Извините, уже жалко времени. — К.Воронцов 17:37, 25 августа 2008 (UTC)

Ну, конечно, как только Вас просят сказать что-то конкретное так на это нету времени, и начинаем давить авторитетом ;), называя оппонента почемуто "воинствующим" и "безграммотным" - ведь так же проще - правда ? Ну, дали бы хоть ссылку, если это есть в Ваших лекциях я могу посмотреть, но зачем же сразу вот так ... SergeyJ 17:50, 25 августа 2008 (UTC)

Я Вам дал два ключевых слова для поиска. Зайдите в Гугл или CiteSeer, и узнайте что-то новое. Я не могу заменить Вам самообразование — К.Воронцов 17:57, 25 августа 2008 (UTC)

Неужели постеснялись дать ссылку на Вашу статью "Обзор современных исследований по проблеме качества обучения" ? SergeyJ 18:26, 25 августа 2008 (UTC)

Значится смотрите сами ... в статье Вы пишите "... в статистической теории способ постороения алгоритма (метод обучения) не рассматривается" - о чем я Вам и толкую ! Другой вопрос в каком смысле Вы употребляете термин "алгоритм", но слова "способ постороения алгоритма = метод обучения", выглядят покрайней мере страно, метод обучения - это и есть алгоритм для определенного устройства, а не способ его построения. SergeyJ 22:41, 25 августа 2008 (UTC)

В то же время, Ваш второй обзац в статье, описывающий задачи обучения по прецедентам - просто изумительный, если не против его нужно так или иначе отразить в ряде связанных статей, и для начала предлагаю сделать статью Задача обучения по прецедентам ... SergeyJ 22:45, 25 августа 2008 (UTC)

Да, и потом, совершенно не понимаю почему Вы так не хотите признать, что статистика и все ваши "скользящие контроли и прочие отступы" - не имеют отношения к механизму алгоритмов обучения, а ЛИШЬ позволяют определить (сравнить) качество обучения алгоритмов, что и показывает все Вашя статья, не слова не говоря ни о одном конкретном методе обучения. Это нормально - так и должно быть - разработка алгоритмов обучения не дело статистики (о чем я вам не однократно говорил) ! Единственно, замечу, что определяемая в Вашей статье "обобщающая способность" не есть то же самое, что понимал под этим Розенблатт, используя термин "обобщение" (отсюда не понятно, на самом деле что следует из всех этих статистических теорий), и второе, Вы или статисты - навводили кучу не нужной терминалогии, и уже успели объявить других безграммотными, хотя как обычно и бывает, за этими терминами не стоит ничего не известного ранее ... лично же я сомневаюсь в надобности таких оценок, т.к. они очень многое предполагаю, чего нету на самом деле - например, равномерная сходимость (правда не понятно равномерная по отношению к чему) ... если имеется введу по числу уменьшаемых ошибок с каждой итерацией, то сходимость как правило далеко не равномерная, особенно при достяжении безошибочного состояния на обучающей выборке. И соответственно они не дают скорости, затрачиваемой алгоритмом - а ваши статистические методы, даже не заботятся об этом - понаписали кучу формул, которые должны расчитывать алгоримы (а это же груда машинного времени) - и совершенно не показали - оправданно ли это ... я больше чем уверен, что все это будет настолько медленно, что ни куда не годится ... и наконец, статистические методы действительно занимаются "подгонкой", а это не хорошо - нам нужен универсальный метод обучения ... SergeyJ 23:37, 25 августа 2008 (UTC)

Например, "Машинное обучение" можно понимать как раздел науки, который занимается обучением машин, почему обучением, а не скажем программированием - почему это не "Машинное программирование" ? Чем же отличается программирование от обучения ? Какая связь статистики с программированием или обучением ? — SergeyJ 21:57, 24 августа 2008 (UTC)

Думаю, ясно из предыдущего ответа. Разница огромна. При программировании человек описывает искомую зависимость с абсолютной точностью, полагаясь на свои экспертные знания. При обучении зависимость задаётся в виде параметрического семейства (ненастроенная нейросеть, если Вам угодно), а параметры настраиваются (=обучаются) по выборке данных, это и есть обучение. — К.Воронцов 08:25, 25 августа 2008 (UTC)

Думаю, Вы высказали лишь необходимое условие, но далеко не достаточное ... Условие "параметры настраиваются" НЕРАВНО (=обучаются) ... Если бы этого было бы достаточно - мы бы говорили о "Теории Систем", "Теории автоматов", "Теории управления", но про ИИ так не слова бы и не сказали (в крайнем случае лишь о логическом подходе в ИИ) ... Но ведь "Машинное обучение" притендует на связь с ИИ ? Да, и сам термин "обучение" не случаен и взят из психологии, намекающий на связь с обучением человека. Главное чего пока не хватает в вашем объяснении - это понимание того, что обучение есть итерационный процесс, и соответственно, что задачи связанные с этим являются задачами с неполной (частичной) начальной информацией SergeyJ 17:08, 25 августа 2008 (UTC)

Почему именно взяли слово "машины" и стали их обучать ? Почему не программировать ? Почему не анализировать с помощью статистики ? Если на то пошло голая статистика никак не помагает сделать что либо с машиной ? — SergeyJ 21:57, 24 августа 2008 (UTC)

Помогает, см. выше. Согласен, что термин «обучение машин» не очень удачный. Он довольно старый и восходит к тем временам, когда компьютеры называли счётно-вычислительными машинами, затем ЭВМ. Есть, например, такая книга: «М. А. Айзерман, Э. М. Браверман, Л. И. Розоноэр. Метод потенциальных функций в теории обучения машин. М.: Наука. 1970». — К.Воронцов 08:25, 25 августа 2008 (UTC)

Мой намек на эти вопросы такой: обучение это особый вид программирования, отличающийся характерными чертами ... вам остается лишь сказать какими ? — SergeyJ 21:57, 24 августа 2008 (UTC)

Согласен. Сказал. — К.Воронцов 08:25, 25 августа 2008 (UTC)

Никто не умаляет неоценимую роль математики или статистики, но если речь идет о программировании, то конечно понятно, что его можно к этому свести, но тем самым связь с понятиями математики будет очень отдаленная ... поэтому речь здесь скорее о другом, те методы которые использовали кибернетики для обучения, после перевода их на математический язык, получив соответствующую формализацию некоторым математикам показались в чем то знакомыми, тем чем они занимались до изобретения компьютеров и программирования - и это нормально, математическое описание процветало ... но математика по отношению к таким кибернетическим методам относится примерно так как искусственныые нейронные сети к биологическим ... да формализация сделана и в рамках этой формализации можно сказать, что решается та или другая задача, но по пути совершенно потерялись ряд мелких деталей ... которые как минимум важны для дальнейших исследований ... — SergeyJ 21:57, 24 августа 2008 (UTC)

Я бы не стал так сильно дистанцировать кибернетику от математики. Норберт Винер, по Вашему, не математик? Математика — это такой же фундамент для кибернетики, как и для физики. Простите, а чем вызвана Ваша субъективная нелюбовь к математике? Возможно, учитель математики был занудой? Это бывает, но нельзя же одну частную неудачу распространять на всю математику вообще! — К.Воронцов 08:25, 25 августа 2008 (UTC)

Ну, что Вы ... почему не любовь :) (я просто не понимаю математического взгляда на мир) Просто с помощью математики нельзя объяснить физический смысл некоторых явлений, а вот в информатике почему то считаю, что можно ... Нужно просто четко себе представлять, чем занимается математика, а чем кибернетика - и обязательно дифференцировать одно от другого, но конечно оставляя связи (если бы вы знали ООП - я бы сказал что мы имеем два пакета "математика" и "кибернетика", и задача состоит в минимизации меж пакетных связей). SergeyJ 17:26, 25 августа 2008 (UTC)

Смешно это слышать ООП-программисту с 15-летним стажем. Правда, программированием я перестал заниматься лет 5 назад. Перешёл на следующий уровень ;) — К.Воронцов 17:57, 25 августа 2008 (UTC)

Вам, наверное может показаться, что я как раз согласился с этим "Одновременно это раздел искусственных нейронных сетей, Data Mining, прикладной статистики, искусственного интеллекта" ... видете ли, все названное на столько молодые дисциплины с не достаточно четкой терминалогией, что иногда даже сказать чем они существенно отличаются практически не получается - хорошо если у Вас получится - тогда сделайте это в статье ... — SergeyJ 21:57, 24 августа 2008 (UTC)

Неохота. Много слов, неясно, ради чего. Я предпочитаю всем этим заниматься на практике. Различия есть, очи чувствуются после прочтения десятка-другого современных обзоров и учебников. Может, напишу когда-нибудь, но не сюда, а в www.MachineLearning.ru. — К.Воронцов 08:25, 25 августа 2008 (UTC)

Наверняка все эти отличия будут не столь принципиальны, и их будет возможно указать в одной статье, общего будет на порядок больше, поэтому-то я и считаю, что "обучение с учителем" не может быть разделом науки, да и оно и не является ... разделы не повторяются даже в разных науках, например, расскажите мне как можно понимать нейрофизиологию в отрыве от медицины или биологии ? Когда же Вы говорите, что это два очень широкиех класса методов вы наиболее близки к моей позиции. Только я ее хочу уточнить ... как только вы ответите на вопрос, что-такое обучение вообще, вам станет понятно, что существуют различные СПОСОБЫ обучения (в отличии от конретных методов, методологий), эти способы отличаются тем, как поставленно обучение экспериментатором !!! — SergeyJ 21:57, 24 августа 2008 (UTC)

Согласен. Об этом тоже обязательно надо написать в этой статье. По поводу «...общего будет на порядок больше...» тоже согласен. К сожалению, учёные склонны придумывать всякий раз новый термин, придумав маленькую фишечку к уже известной теории. Так легче выбивать гранты. А мы с Вами потом тратим драгоценное время жизни на терминологический базар. — К.Воронцов 08:25, 25 августа 2008 (UTC)

К сожалению, это имеет место быть ... но не знаимаясь терминалогическим базаром, мы просто увязнем в груде неструктурированных мыслей ... SergeyJ 17:35, 25 августа 2008 (UTC)

В математике и статистике эти понятия вырождены, т.к. там нет эксперимента как такового, там происходит просто формализованное обучение, в физике же например, важно еще при каких условия был поставлен эксперимент, а не только что хочет решить экспериментатор, и замедте, что условия эксперимента можно также классифицировать, и они не сколько не будут относится к методу решения. — SergeyJ 21:57, 24 августа 2008 (UTC)

По поводу «вырожденности» не согласен. Различные способы обучения тоже поддаются формализации и исследуются математическими методами. Кстати, теория планирования эксперимента — очень близкий к обучению раздел статистики, довольно старый и неплохо проработанный. — К.Воронцов 08:25, 25 августа 2008 (UTC)

Если хотите в математике, наиболее близкое к этому понятие - "ограничения", и если бы термин Обучение с учителем - относился бы исключительно к машинному обучению, то я бы первым бы написал бы, что "Обучение с учителем" - это ограничения наложенные на задачу Классификации. — SergeyJ 21:57, 24 августа 2008 (UTC)

Такой концепции я нигде ещё не встречал. Принято всё-таки говорить, что задача классификации — это частный случай обучения с учителем. А если без учителя, то это уже не классификация, а кластеризация. — К.Воронцов 08:25, 25 августа 2008 (UTC)

Почему ? Выглядит от как то страно ... Если это вообще связанно, то скорее наоборот ... SergeyJ 17:26, 25 августа 2008 (UTC)

Но объяснить это с позиции нейронных сетей мне представляется более понятным, т.к. понятия тогда не настолько вырожденны, а имеют под собой более четкое объяснение. — SergeyJ 21:57, 24 августа 2008 (UTC)

Только не надо себя обманывать. Суть не в этом, а в том, что Вам проще объяснять в тех терминах, с которыми Вы уже знакомы. Но Вы знаете пока ещё очень мало (это не оскорбление, а призыв расширять свой кругозор); для Вас это высвеченный угол большой тёмной комнаты. Не поленитесь, обернитесь и посветите фонариком по другим углам. Найдёте массу других, более удачных объяснений. — К.Воронцов 08:25, 25 августа 2008 (UTC)

:) SergeyJ 17:26, 25 августа 2008 (UTC)

Да, и если Вы предлагаете мне почитать книгу, будьте добры, более конкретно - цитату, или хотя бы чтобы книга была доступна в интернете (и если возможно на русском - для меня очень экономит время). — SergeyJ 21:57, 24 августа 2008 (UTC)

Мне проще порекомендовать свои собственные лекции. Рекомендую ещё книгу Загоруйко Н.Г. Прикладные методы анализа данных и знаний. 1999 (есть на poiskknig) — К.Воронцов 08:25, 25 августа 2008 (UTC)

Да, и никто не пытается тянуть одеяло - в науке же важна только истина :), а я пытаюсь найти более четкие и понятные всем объяснения, и буду рад если Вы мне конструктивно поможете ... SergeyJ 22:39, 24 августа 2008 (UTC)

В современной науке, чтобы получить целостное представление о текущем понимании «истины», надо читать ТАК много, и ТАК быстро... Помогать, конечно, буду, но мне сложно работать на два фронта. Я сейчас пишу в основном на www.MachineLearning.ru, в надежде на то, что профессиональное сообщество заинтересуется и станет работать над контентом там; а потом хорошо проработанный материал можно будет перенести и в главную Википедию. — К.Воронцов 08:25, 25 августа 2008 (UTC)

С названием Классификация (задача) я не согласен, и никто из моих коллег не согласен, т.к. слово «задача» народ понимает в смысле «школьная задачка». Загляните в категорию Machine Learning, найдёте там «Statistical classification», «Classifier (mathematics)». То есть либо математика, либо статистика; а «задача» звучит смешно. — К.Воронцов 18:43, 24 августа 2008 (UTC)

Ну, Вы что ... при чем тут школьная или не школьная .. Вы разве ни когда не встречались со словочитаниями "постановка задачи", "формализация задачи", "иследовательская задача", "научная задача", я даже не хочу давать Вам ссылки, т.к. это на столько элементарно, что я чуть не "упал в осадок", вот например, единственное первое попавшиеся http://trnz.narod.ru/vvedenie.htm "теория решения научных задач", что это тоже "школьная задачка" ? Вы просто даете названия этим задачам, и почему то не хотите их классифицировать как задачи. — SergeyJ 21:57, 24 августа 2008 (UTC)

Я к тому, что статью было лучше переименовать в «Задача классификации». Или сделать из неё статью «Алгоритмы классификации» (или «Методы классификации»), а постановку задачи описать в первом разделе. Слово задача в скобках выглядит несуразно — я это имел в виду. — К.Воронцов 08:25, 25 августа 2008 (UTC)

Тогда я действительно не допонял ... тогда я переименную в «Задача классификации» ... но в списке "другие значения" лучше оставить так же Классификация (задача), т.к. там речь именно о различном смысле термина "Классификация" SergeyJ 16:33, 25 августа 2008 (UTC)

Да и наконец, меня так учили и встречался я с этим многократно, что любую иследовательскую деятельность можно разделить на (1) поставленные перед иследователем задачи и (2) имеющиеся в распоряжении иследователя методы. Именно это разделения я и пытаюсь достигнуть, а не грузить все в кучу. Даже скажу почему - т.к. соотвношения между методами и задачами не один к одному. Математика же или статистика - это науки, которые пытаются решить эти задачи, каждая своими методами. Если я Вас даже не убедил, то хотя бы согласитесь с логикой моего объяснения, думаю я объяснил достаточно четко. Так вот и в описании всех этих вещей, хотелось бы точности ... — SergeyJ 21:57, 24 августа 2008 (UTC)

Согласен. Именно так и надо: сначала постановка задачи, потом перечисление методов, подходящих для её решения. — К.Воронцов 08:25, 25 августа 2008 (UTC)

У вас же классификация и обучение с учителем - по сути синонимы, да и статьи, до моих правок это явно отражали. — SergeyJ 21:57, 24 августа 2008 (UTC)

Не синонимы. Ещё раз: задачу классификации принято относить к обучению с учителем. Это чисто терминологическая типизация задачи. — К.Воронцов 08:25, 25 августа 2008 (UTC)

Вот это "относить" мне по большому счету и не нравится ... а также - принято кем ? принято почему ? принято зачем ? ... что значит относить - между этими понятиями вообще может не быть связи ! о разных аспектах одного и того же говорим, но тем ни менее не об одном и том же ... SergeyJ 17:35, 25 августа 2008 (UTC)

Попробуйте найти отличия между четырьмя терминами: Классификация, Обучение с учителем, Перцептрон, ну и любой статистический метод, который решает задачу на классификация (я просто такого не знаю, кроме нейронных сетей) ... — SergeyJ 21:57, 24 августа 2008 (UTC)

Вот это признание наконец всё и объясняет! Может, тогда и не стоит заниматься статьями, выходящими за пределы зоны компетентности? — К.Воронцов 08:25, 25 августа 2008 (UTC)

Ну, не надо же так строго, один человек может многого не знать или чего то не допонимать, да и Вас я могу заподозрить в некотором недопонимании, и это все не означает, что не стоит заниматься этим, тем более что по многим вопросам мы возможно сможем развить статью в разных направлениях, после чего она станет на порядок лучше. Да, и имел я несколько другое - Вы все же назовите такой метод, и желательно дайте ссылку на его описание (ведь если Вы знаете, то Вам это будет сделать легко, только не нужно перечислений, выбирите на ваш взгляд метод наиболее чисто статистически и как вам кажется наименее уязвимый для критики по поводу "обучения") - сдается мне, что чисто терминалогически или даже несколько в практических аспектах, я попробую показать, что решаются задачи все же разные и под разными условиями, несмотря на то, что Вы призываете ставить это в один ряд, скажем с Перцептроном. Да, я не сразу заметил - ниже вы привели пример Решающее дерево, но это же относится к "Теории принятия решений" не так ли ? При чем здесь статистика ? Если же вам достаточно этого, это одно, но мы не раз говорили о регрессионном анализе, там наверняка тоже есть разные методы, и это явно относится к статистике, если я не ошибаюсь наиболее известный из них Метод наименьших квадратов, и был у нас целый курс, где мы изучаль с десяток подобных методов, правда уже почти все забыл :), вот я и прошу Вас указать метод именно из этой серии ... SergeyJ 16:33, 25 августа 2008 (UTC)

Пример 1. Однослойный перцептрон (OLP), линейный дискриминант Фишера (LDF), логистическая регрессия (LR) и метод опорных векторов (SVM) строят формально один и тот же линейный классификатор — гиперплоскость в пространстве признаков, но методы настройки весовых коэффициентов отличаются сильно. LDF и LR имеют чисто статистические обоснования и растут из байесовской теории классификации. SVM был придуман исходя из эвристического принципа оптимальной разделяющей гиперплоскости, но позже получил мощные статитистические обоснования. Многочисленные эксперименты на реальных данных показывают, что SVM круче всех, следом идёт LR, а OLP и LDF плетутся в хвосте. Можно ли их «ставить в один ряд» — вопрос терминологический; я предпочитаю просто понимать, как они работают.

Что такое "Однослойный перцептрон (OLP)" я не знаю, кто его придумал, где он описан ? (шучу конечно, но действительно - однослойный перцептрон - это некий нонсен, который даже не заслуживает внимания, да и никто его не предлагал, и нигде он не описан, если не считать монографии Уоссермана, где он извратил ряд фактов) Да, и линейные классификаторы - это просто не интересно, поэтому и напрягаться здесь даже не хочется ... По поводу примера 2 и 3 я некоторое время подумаю, поизучаю детальнее (если найду время) ... SergeyJ 18:15, 25 августа 2008 (UTC)

Пример 2. Сеть радиальных базисных функций (RBF) — близкая Вам тема. Я знаю три способа настройки (и наверняка есть ещё): (1) градиентный метод типа back propagation, (2) EM-алгоритм, основанный на принятии гипотезы, что классы описываются гауссовскими смесями, (3) SVM, если в качестве ядра взять всё тот же гауссиан. Общеизвестные результаты: SVM предпочтительнее, когда в данных нет шума, т.к. он выстраивает опорные векторы вдоль границы классов; EM предпочтительнее для зашумлённых данных, т.к. он фактически выполняет кластеризацию каждого класса; BackProp нервно курит в углу, проникаясь злобной завистью к этим двум, поскольку и сходится он медленнее, и статистических обоснований у него никаких, и в экспериментах на реальных данных они его бьют по точности (разумеется, не всегда, но на большинстве задач из UCI).

BackProp - вообще практически не пригоден ни для чего, Вы меня даже не удивили, а сравнение с ним мало о чем говорит ... Но если Вы знаете определенный факт или статью, на основании которой Вы утверждаете, что "поскольку и сходится он медленнее, и статистических обоснований у него никаких, и в экспериментах на реальных данных они его бьют по точности", то большая просьба поделится источником, на которым можно было бы авторитетно сослаться ... SergeyJ 18:32, 25 августа 2008 (UTC)

Самый ГЛАВНЫЙ ВОПРОС. Возьмем SVM. Не знаю как у Вас, но у нас принято показывать алгоритм на простейшей задачи, традиционно берется XOR - не могли бы Вы описать или дать ссылку, где практически разбирается такой пример, с конкретными цифрами. Иначе все это выглядит не более как математическая балтология ... Когда же будет такой пример, то будет все на порядок проще, и я смогу конструктивно критиковать или восхищатся, пока же для меня математическое описание не говорит не о чем ... SergeyJ 23:53, 25 августа 2008 (UTC)

Пример 3. Метод ближайших соседей совсем никакого отношения к персептронам не имеет. Если его слегка обобщить и ввести ядро, получится метод парзеновкого окна. Если вспомнить, что метрику придумывает эксперт с потолка, то захочется ввести несколько альтернативных метрик (допустим, взвешенных евклидовых), по каждой построить свой классификатор, а потом сделать из них линейную композицию. Коэффициенты в композиции настроим чем-нибудь очень популярным, например бустингом. На первый взгляд вроде какой-то монстр получился... смотрим внимательно, а по структуре это всё тот же RBF.

— К.Воронцов 17:37, 25 августа 2008 (UTC)

Рекоммендую идти от обратного, найдите конкретный метод чисто статистический (желательно хоть минимально опишите его в википедии), а затем покажите его отличия от перцептрона, и то причем здесь обучение с учителем (именно для это статистического метода, т.к. я действительно не понимаю причем там учитель в статистических методах - там есть некоторая статистическая выборка - это да, но зачем пользоваться терминалогией ИНС - не понимаю, ведь смысловая нагрузка хоть в чем то и совпадает, но есть существенные отличия), и наконец, как все это отличается от классификации - что это по сути, а не чисто оприорно якобы "мы все так не согласны" ... — SergeyJ 21:57, 24 августа 2008 (UTC)

В роли учителя выступает выборка. Английские термины это подчёркавают: training sample — обучающая выборка; learning machine — обучаемая машина. Можно и так понимать, что прецеденты показывает учитель. Возможны варианты: в каком порядке показывать, показывать всё сразу или сначала проверять предыдущий ответ обучаемого, исправлять что-то в самом обучаемом или только ограничиваться показом прецедентов, и т.д. Всё это активно исследуется в русле машинного обучения: reinforcement learning, online learning, active learning, meta-learning, learning-to-learn, inductive transfer.

Ещё раз. «Обучение с учителем» — это не только терминалогия ИНС; этот термин используется гораздо шире.

Извольте пример. Решающее дерево (decision tree, менее удачный перевод «дерево решений») сильно отличается от перцептрона. Статистическим его назвать можно (хоть и с натягом), поскольку для ветвления используются статистические критерии. После книги Куинлана в мире начался бум по придумыванию разных способов обучения деревьев (хотя многие были известны и за 20 лет до этого), в том числе приспособили их под разные способы обучения: когда обучающие объекты поступают по одному или по несколько, или с повторами. — К.Воронцов 08:25, 25 августа 2008 (UTC)

"Статистическим его назвать можно (хоть и с натягом)" именно поэтому это пример не столь удачен, а статистические критерии используются всюду, даже в ряде нейронных сетей, от этого их совершенно нельзя назвать статистическими ! За не имением лучшего можно обсудить и этот, но тогда все мои прежние заявления будут не настолько точны, т.к. раньше я предполагал ИМЕННО статистические ! (а говоря, что я таких не знаю, сдается мне пока, что таких практически нет в принципе, упомянутый мной Метод наименьших квадратов - да он решает задачу классификации (хотя помойму называется это там по другому), но вот к обучению не имеет ни какого отношения). SergeyJ 16:42, 25 августа 2008 (UTC)

Лично мне можете не отвечать на все эти вопросы, свою интерпретацию я не раз излагал, теперь я просто хотел бы услышать ваш ход мыслей, и понять почему у нас разные мнения на такия казалось бы элементарный вопросы ... — SergeyJ 21:57, 24 августа 2008 (UTC)SergeyJ 21:54, 24 августа 2008 (UTC)

Понятно, почему: в разных местах учились ;) — К.Воронцов 08:25, 25 августа 2008 (UTC)

Да, и между прочим - вам возможно ближе - Задача коммивояжёра - мы теперь тоже сделаем разделом науки ? Или же она все же имеет право на название "Задача" ? SergeyJ 21:57, 24 августа 2008 (UTC)

Разумеется, это задача. Но Вы что-то путаете: я не предлагал задачу классификации объявить разделом науки. — К.Воронцов 08:25, 25 августа 2008 (UTC)

Неправильная категория статьи!

Участник:SergeyJ уже несколько раз (сюдя по истории правок) пытается отнести эту статью к категории "Методы обучения нейросетей", что на мой взгляд категорически неправильно. Правильная категория - "Машинное обучение":

• Методы обучения с учителем вовсе не ограничиваются нейросетями, существуют десятки других методов машинного обучения, никак несвязанных с нейросетями, которые также принято к относить к методам обучения с учителем: naive bayes, k nearest-neighbors, SVM, adaboost, decision trees, random forests и т.д. Нейросети даже уже не являются в настоящее время доминирующим методом для этого класса задач на практике!
• В тексте статье не идет речь ни о каких методах обучения (т.е. алгоритмах), тем более о методах для нейросетей.
• Категория англоязычной версии этой статьи - machine learning, т.е. машинное обучение.

Аналогичная ситуация с категорией статьи Обучение без учителя.

X7q 13:28, 2 июня 2009 (UTC)

• Все ваши утверждения без АИ. Более того существенно не верны. Во-первых, называйте методы по русски ! Во-вторых, укажите в соответствующих статьях источники ! И в третьих, покажите что там за "учитель" ! И только после этого начнем разговаривать. Все указанные вами методы, решают задачу классификации, но никак не относятся к методу обучения с учителем. SergeyJ 13:41, 2 июня 2009 (UTC)

>Все ваши утверждения без АИ.

Вы о чём это вообще??

>И в третьих, покажите что там за "учитель" !

Под учителем понимается обучающая выборка, см. текст статьи.

>Все указанные вами методы, решают задачу классификации

Правильно, задача классификации как раз и является одной из типичных задач, решаемых методами обучения с учителем, опять же - см. текст статьи. Некоторые из упомянутых мной методов, например, SVM и различные варианты решающих деревьев, успешно применяются и в задачах регрессии (см. support vector regression и CART в гугле)

X7q 14:09, 2 июня 2009 (UTC)

• Я про Авторитетные источники, например, я не согласен, что под учителем понимается обучающая выборка (текст данной статьи надо корректировать - просто пока не дошли руки, она была написано сильно однобоко). Кроме того, под обучением понимается совсем не то, что делается указанными вами методами. Между прочим, задача классификации может решаться и при обучении без учителя. Обучение сучителем/без учителя - это если быть точным даже не метод, а способ постановки эксперимента ... Если хотите давайте КОНСТРУКТИВНО поработаем над статьями, отразив в них информацию более точно ? SergeyJ 16:58, 2 июня 2009 (UTC)

Статья сейчас описывает термин "обучение с учителем" с позиций науки о машинном обучение, т.е. так, как вы найдете в учебниках по machine leaning, таких как Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Если у вас иное мнение по поводу того, что значит "обучение с учителем", создайте секцию в статье. Но в machine learning обучение с учителем не ограничивается нейросетями, и поэтому неправильно относить статью к узкой категория "Методы обучения нейросетей". X7q 03:15, 3 июня 2009 (UTC)

• Частично согласен, давайте поступим так - выделим отдельную категорию "Способы постановки эксперимента", в нее поместим именно различные виды (без методов). К сожалению, действительно сейчас "обучение с учителем" - написано именно с позиции науки о машином обучении, хотя термин двухзначный, более уместным для Машиного обучения использовать термины "Обучение на основе инструкций", "Обучение на основе примеров" и т.д. (вариантов много, и все они отличаются), а вот именно "Обучение с/без учителем" это терминология Нейросетей как отдельного от Машиного обучения направления ... да есть ряд пересечений, но если писать статьи более глубоко - то просто мы просто получим противоречия в изложении ... Напишите готовы ли Вы мне помочь в написании некоторых микростатей, чтобы сделать понятным различия в обсуждаемом - вот например, я нашел хорошую литературу [2], она хороша тем, что наиболее раняя по данному вопросу, когда понятия не смешались в популярные штампы, и еще можно разобраться что чем отличается ... Если не готовы, тогда дайте мне время (пару месяцев :) ) и со временем я приведу это в порядок ... SergeyJ 03:46, 3 июня 2009 (UTC)

• Кстати, вот еще замечательная ошибка пишите machine leaning, а отсылаете читать классику по Statistical Learning - что есть совершенно разные науки !!! В том, то и дело ряд статей тут были написаны, именно с точки зрения Статистического машинного обучения - поэтому превратились в сплошную математику ... но чистое машинное обучение - это как нечто другое ! , и тем более другое нейросети ... конечно, когда все перекладываешь на математику кажется это все однородным, но это ЛИШЬ статистическое рассмотрение машиного обучения и/или нейросетей, но не сами эти науки ! SergeyJ 03:52, 3 июня 2009 (UTC)

• "Под учителем понимается обучающая выборка, см. текст статьи." - да и в статье я такого, мягко говоря странного утверждения не нашел. SergeyJ 17:08, 2 июня 2009 (UTC)

В разделе "Обучение с учителем: математическая постановка". Явно не сказано кто учитель, согласен, но в том разделе кроме обучающей выборки учителем некому еще быть. X7q 03:15, 3 июня 2009 (UTC)

• В том, то и дело - учителя (понятия как такового) в машином обучении нет - он есть только Нейросетях, или в Кибернетике - и это нечто большее, чем просто примеры для обучения.

• И еще если согласитесь работать конструктивно, ответье на вопрос: Кто первый использовал выражение "Обучение с учителем"?, Что является, а что не является обучением (с каких пор начали говорить о обучении, а не запрограммировании или поиски коэфициентов уравнений) ? SergeyJ 17:15, 2 июня 2009 (UTC)

Я не курсе, кто изобрел этот термин. X7q 03:15, 3 июня 2009 (UTC)

• Я тоже :) Но вот тут покапался и судя по всему он появился очень давно, вот написал микростатью Артур, Самуэль - первый кто использовал этот термин (раньше просто некому было) - отметим, что понятие сейчас это тоже поплыло, хотя изначально имело совершенно конкретный смысл, и с нейросетями никому бы не пришло в голову смешивать ... да , и сейчас это неправомочно, просто для любителей и прессы - удобнее, но повторюсь - неверно ... Особенно, когда мы хотим это отразить в энциклопедии, несмешивая разные науки/направления в кучу ... SergeyJ 03:46, 3 июня 2009 (UTC)