Обсуждение:Задача классификации

О классификации

• Классификация - это не вид машинного обучения. Это задача ИИ. Если эта задача решается с помощью нейросетей, то методов обучения такой нейросети может быть несколько. Поэтому само название этой статьи не корректно, как и часть содержимого. Zaveron 22:58, 18 июня 2008 (UTC)
• Ответы — К.Воронцов 16:08, 25 июня 2008 (UTC):
  • Классификация — это вид машинного обучения. Согласно принятой в мире терминологии и наиболее авторитетным учебникам классификация (Classification) является разделом машинного обучения (Machine Learning). Одновременно классификация является разделом математической статистики, где она называется также дискриминантным анализом. Machine Learning, в свою очередь, является подразделом ИИ (Artificial Intelligence). Нейронные сети (Artificial Neural Networks) также считаются подразделом ИИ, который имеет значительные пересечения с машинным обучением, однако ни один из них не объемлет другой. Задача классификации может решаться как нейросетевыми методами, так и сотнями других методов. Нейронные сети могут применяться как для классификации, так и для сотен других задач.
  • Говорить, что «классификация — это задача ИИ» можно, но ИИ в данном случае — слишком широкая область. Скорее, классификация — это задача обучения по прецедентам или задача машинного обучения.
  • Некоторая некорректность в названии всё же есть. По делу надо было бы сделать две статьи:
    1. Классификация (раздел машинного обучения), синоним Дискриминантный анализ (раздел математической статистики) — это область знания;
    2. Классификация (задача машинного обучения) — это именно задача: дана выборка пар (объект, ответ), требуется построить правило классификации.
  • Однако такое дробление показалось излишне детальным, поскольку оба эти смысла термина Классификация тесно связаны друг с другом. В английской терминологии слово Classification свободно употребляется в обоих смыслах, и никого это не конфузит. — К.Воронцов 16:08, 25 июня 2008 (UTC)

• Здесь все-таки нужно уточнять ... классификация - это вообще достаточно общее понятие из раздела логики, биологии, стандартизации, объектного проектирования и пр. Все что нас окружает мы классифицируем ... Поэтому действительно "Классификация - это не вид машинного обучения". Это некоторая задача ... Возьмем любую науку - и там есть задача на классификацию .... Поэтому в первую очередь нужно создать статью Задача классификации ... дальше вполнее возможно писать статью Дискриминантный анализ, ссылаясь на то, что он позволяет решать Задача классификации ... Но и этого мало нужно в основной статье про ИИ, написать раздел применение ИИ для Задача классификации, это совершенно не то же самое, что Дискриминантный анализ ... позволю себе напомнить, что Дискриминантный анализ не относится к ИИ ни каким боком ... это не методы ИИ, это методы мат. статистики, которые существовали задолго до понятия ИИ, под ИИ понимается совершенно особые методы, которые могут иметь лишь интерпретации в терминах математики, но базируются они на биологическом подобии интеллекта ... SergeyJ 13:01, 4 июля 2008 (UTC)
• Смешение этих понятий не конфузит только в узком кругу ... Нам же нужна как раз точность и четкость понятий ... Поэтому это лишь минимальная детализация, которую нужно выполнить ... SergeyJ 13:11, 4 июля 2008 (UTC)

Обращаю внимание, что обсуждается статья Классификация (машинное обучение), а не Классификация или Классификация (значения). Никто не мешает Вам сделать статью Классификация (искуственные интеллект) — это ничему не противоречит. --Yury Chekhovich 13:42, 4 июля 2008 (UTC)

Ok. SergeyJ 15:12, 4 июля 2008 (UTC)

• По поводу ИИ есть ряд возражений:
• 1. «Дискриминантный анализ не относится к ИИ никаким боком» — в корне не согласен! В науке часто происходит, что одинаковые вещи в разное время, разными авторами, в разных странах, именуются совершенно по-разному, и даже относятся к разным областям знания. В данном случае нельзя ставить знак неравенства между Классификация (машинное обучение), Классификация (искуственные интеллект) и Дискриминантный анализ. Так мы окончательно запутаем людей! Наоборот, надо всячески высвечивать сходства и параллели между разными, на первый взгляд, разделами науки, которые занимаются почти одним и тем же, возможно, со значительными отличиями в терминологии, но с незначительными — по сути. Иногда выявление такого рода параллелей приводит к прорывам в одной из областей (вызывая всеобщее удовольствие). Различия в терминологии часто обусловлены субъективными причинами: образовательными системами, традициями научных школ, желанием некоторых учёных выставить старые идеи под новым флагом, и т.д.

• (1) Это не тот, случай ... взгляните, что ли на статью ИИ, - раздел информатики, изучающий возможность обеспечения разумных рассуждений и действий с помощью вычислительных систем и иных искусственных устройств. При этом в большинстве случаев заранее неизвестен алгоритм решения задачи. Каким образом сюда можно определить Дискриминантный анализ ? Вначале определите куда его отнести: "нисходящий, семиотический — создание символьных систем, моделирующих высокоуровневые психические процессы: мышление, рассуждение, речь, эмоции, творчество и т. д.; восходящий, биологический — изучение нейронных сетей и эволюционные вычисления, моделирующих интеллектуальное поведение на основе более мелких «неинтеллектуальных» элементов." .. по мне нельзя ни туда, не туда ...

  На мой взгляд статья ИИ настолько далека от идеала, что опираться на неё, как на авторитетный источник, как-то несерьёзно. Достаточно взять в руки солидные современные учебники по ИИ, чтобы понять, что машинное обучение занимает там подобающее место, включая разнообразные методы классификации: статистические, эвристические, логические, композиционные (линейный дискриминант Фишера, SVM, логистическая регрессия, kNN, решающее дерево, бустинг и др.). Статья ИИ, по всей видимости, писалась по устаревшим и слишком популярным источникам. Кстати, английская статья тоже не блещет профессионализмом. — К.Воронцов 00:51, 5 июля 2008 (UTC)

  Там по крайней мере показана главная идея обеспечения разумных рассуждений и действий - а все перечисленные Вами методы не известно как к этому относятся ? SergeyJ 06:10, 5 июля 2008 (UTC)

• (2) Вы правильно сформулировали "нельзя ставить знак неравенства", но обратное тоже верно "нельзя ставить знак равенства" ! Отсюда нужно четко и ясно дифиренцировать данные науки ... SergeyJ 19:49, 4 июля 2008 (UTC)

  Ну, и я, собственно, к тому же призываю. Пересечения надо выделять чётче, а это кропотливая работа... — К.Воронцов 00:51, 5 июля 2008 (UTC)

• 2. «Методы ИИ базируются на биологическом подобии интеллекта» — в корне не согласен! На чём строить ИИ — на имитации ЕИ, или на обобщениях успешных математических методов, решающих сложные профессиональные проблемы лучше человека — это вопрос спорный, и ещё многие годы будет оставаться спорным. Не надо делать вид, будто он уже закрыт и решён в ту или другую сторону. Есть масса примеров тому, что подражание природе — не всегда оптимальный путь (самолёты летают не как птицы, корабли и подводные лодки плавают не как рыбы, компьютер работает не как мозг, да и колеса в природе нет).

• Вы можете быть как угодно не согласны - но это исторический факт ... ИИ появилась в противовес «успешным математическим методам», и обогнала их ... поэтому сейчас не стоит «примазываться» ... В ИИ не идет речь о полном дублировании, там идет речь лишь о нахождении в природе эффективных алгоритмов ... этого НИ КОГДА не было в истории математики и статистики, которую Вы хотите засунуть в область ИИ. SergeyJ 19:49, 4 июля 2008 (UTC)

  Насчёт «обогнала» — это взгляд дилетантский. Думаю, что в ИИ, и в математических технологиях есть свои достижения, сравнивать которые по «крутизне», пожалуй, просто некорректно. Машинное обучение — это как раз та область на стыке ИИ, статистики и оптимизации, которая берёт лучшее от всех: чисто инженерный эвристический подход и строгие математические методы. Вот только приверженцы разных школ пишут об этом по-разному. Это само по себе не страшно; страшно, когда одна школа пытается тянуть одеяло на себя. — К.Воронцов 00:51, 5 июля 2008 (UTC)

• 3. Причина недопонимания и иногда нетерпимости между разными школами ИИ, как всегда, субъективна. Гуманитарии и философы от ИИ склонны ограничиваться словами и эмоциями, что не приводит к практическим результатам. Математики от ИИ склонны углубляться в теории, изобилующие искусственно созданными трудностями, на понимание которых требуются годы, что также не приводит к практическим результатам. Тем временем инженеры от ИИ разрабатывают прикладные системы, которые, хоть и плохо, но реально работают, зачастую игнорируя теории как «лириков», так и «физиков». В области ИИ очень важно уметь становиться на чужие позиции, вникать в них, и понимать, что там тоже люди-не-дураки поработали. — К.Воронцов 18:30, 4 июля 2008 (UTC)

• Все правильно, вот и Вы и пытаетесь с точки зрения Вашей школы субъективно судить об ИИ, совершенно забывая историю ... Не нужно смешивать различные идеи - от этого они блекнут ... SergeyJ 19:48, 4 июля 2008 (UTC)

  Я не пытаюсь судить за весь ИИ, так как считаю, что владею этой областью довольно поверхностно. Другое дело — машинное обучение. — К.Воронцов 00:51, 5 июля 2008 (UTC)

• В резудьтате этой дискуссии, я окончательно понял, что ИНС относятся к машиному обучению лишь частично, поэтому вынес их так же категорию Искуственный интеллект, где ИНС понимают в широком смысле, а не в узком как в машином обучении. SergeyJ 11:51, 5 июля 2008 (UTC)

• Придерживаюсь прямо противоположного мнения: надо смешивать различные идеи, искать соотвествия и взаимодополнения. Неспособность привлечь идеи из смежной области знания свидетельствует об узости мышления (это общие соображения, никого конкретно не имею в виду). — К.Воронцов 00:51, 5 июля 2008 (UTC)

• Я принадлежу к последнему классу в Вашей классификации «лириков» - «физиков». «Лириков» давайте вообще оставим за скобками - для них есть подраздел "Философия ИИ", что же касается "Математиков" - то к ним у меня давно претензии ... судя по всему Вы относите себя к ним (судя по Вашему стремлению Дискриминантный анализ сделать частью ИИ) ... претензии вот какого плана: что математики способны дать для ИИ кроме никому не нужных мат. теорий ? SergeyJ 19:56, 4 июля 2008 (UTC)

  Занимаясь и практикой и теорией, понимаю, как трудно их соединять. В то же время, насколько плодотворно они друг друга обогащают! Бесполезных теорий не люблю. Однако, если проследить историю, очень часто бесполезную на первый взгляд теорию потом удавалось прекрасно приспособить к нуждам практики. Тут заранее не угадаешь. — К.Воронцов 00:51, 5 июля 2008 (UTC)

• Да, кстати, посмотрел я Ваши «Лекции по искусственным нейронным сетям» - надо сказать, что вся эта математическая теория практически не работоспособна и не дает особой пользы для конструктора, мало того, что там существует известная путаница по поводу перцептрона (хотя завуалированна так, что остается лишь намек на то, что якобы перцептрон Розенблатта не решает задачу XOR) ... Но нет ни одного конкретного ответа на вопросы:

  Когда у меня самого будут «конкретные ответы на вопросы» — издам книгу; а пока, извините — безответственный черновик в свободном доступе. As is. — К.Воронцов 00:51, 5 июля 2008 (UTC)

1. Как определить разделим ли бинарный вектор линейно?

   Есть масса методов, тот же SVM например. — К.Воронцов 00:51, 5 июля 2008 (UTC)

2. Почему-то Теорема 1.1. предполагает, что выборка уже разделима - в таком случае нет никакой от нее пользы, если не известно, какая выборка у меня есть ...

   Теорема 1.1. представляет только исторический интерес (и там так и написано). Доказательство короткое и красивое. Не более. — К.Воронцов 00:51, 5 июля 2008 (UTC)

3. Сравнительно, Розенблатт при доказательстве сходимости перцептрона таких предположений не делает и доказывает, что независимо от любой выборки происходит схождение ...

   Где можно прочитать это доказательство? — К.Воронцов 00:51, 5 июля 2008 (UTC)

4. При этом он не основывается ни на каких теоремах Колмогорова, Стоуна и пр. - поэтому их изложение для ИНС является избыточным и не нужным ...

   Согласен. Давно хочу это оттуда убрать. — К.Воронцов 00:51, 5 июля 2008 (UTC)

5. Что касается обратного распространения - совершенно никакой ясности: сколько необходимо элементов в среднем слое, для схождения при ЛЮБОЙ обучающей выборки?

   Не схождение, а сходимость. Надо уточнять, что имеется в виду под сходимостью. Далеко не всегда стоит гнаться за безошибочным разделением. А чтобы хорошо решить задачу, можно пользоваться методами добавления или удаления (ODB) нейронов и связей, проверяя по ходу либо качество на контрольной выборке, либо какой-нибудь критерий регуляризации, типа BIC. То и другое при должном умении на практике работает хорошо. — К.Воронцов 00:51, 5 июля 2008 (UTC)

6. Что это за величина такая O(Hn+Hm), что H - это число нейронов в скрытом слое - хотя бы написанно выше, а все остальное что нужно искать по всему тексту ... Вообщем величина сомнительная ... и ее происхождение не ясно ...

   Лекция предполагает, что её слушают с самого начала. Пришёл к середине — сам виноват. — К.Воронцов 00:51, 5 июля 2008 (UTC)

7. Отсюда не понятно что значит эффективность - более медленного метода представить страшно - а у Вас эффективен ...

   Эффективнее, чем тупое вычисление градиента в лоб. Там написано, с чем сравниваемся. — К.Воронцов 00:51, 5 июля 2008 (UTC)

8. Не вызывает ли у Вас подозрение фраза "недостатки метода обратного распространения: 1. Метод не всегда сходится", как же так так сложно доказывали, такая куча выкладок говорящих об обратном - показывающих какой это замечательный и общий метод, где перцептрон Розенблатта якобы рядом не стоял, а тут такое .... в скобках замечу, что у перцептрона Розенблатта таких проблем нету - сходится ВСЕГДА ! ...

   Если дадите мне ссылку на описание работоспособного метода, решающего все эти проблемы, с удовольствием заменю на него всю свою галиматью. — К.Воронцов 00:51, 5 июля 2008 (UTC)

---

• Так к чему это я ... это к разговору о школах ... я готов понимать другой язык - но только тогда, когда он явно не состоит в противоречиях с практикой ... Да, и еще это математическая самонадеятельность - якобы Нейроные сети есть частный случай чего-то там ... НЕ ЕСТЬ они частный случай, математическому описанию с трудом поддаётся даже простейший перцептрон, поэтому максимум на что Вы можете расчитывать - это на параллельное развитие двух СОВЕРШЕННО РАЗЛИЧНЫХ наук ИИ и Математической статистики с ее дискрименантным анализом ... и не надо всё сваливать в одну кучу ... Сама суть ИИ как раз и была - выкинуть всю эту статистику и посмотреть не удастся ли построить алгоритмы на эвристиках и компьютерной интуиции программиста ... SergeyJ 22:47, 4 июля 2008 (UTC)

  Зачем столько эмоций? Лучше конструктивное сотрудничество и поиск взаимопонимания. Лично мне эвристики и интуиция программиста исконно гораздо ближе переусложнённых теорий. Однако есть и теории, которые много что дают практике, если в них разбираться по-настоящему, а не по верхам. Выкидывание чего-либо — это деструктивная позиция. Да, статистика иногда работает, иногда нет, а иногда ни так ни сяк. То же самое можно сказать про эвристики и «компьютерную интуицию программиста». Надо разбираться, а не отвергать. — К.Воронцов 00:51, 5 июля 2008 (UTC)

  Очень хорошо. Извините за возможные излишние эмоции ... иногда они просто бушуют :) Просто я против называть любую математику ИИ ... давайте постепенно разбираться - буду только рад ... ниже попробую поже ответить детализированее SergeyJ 06:22, 5 июля 2008 (UTC)

---

1. Где можно прочитать это доказательство? - Здесь подборка теорем без доказательств Теорема сходимости перцептрона, ниже можете найти ссылку на оригинальную работу Розенблатта - там есть все доказательства ... Если хоть на грамм разбиретесь - очень прошу объяснить мне, хотелось бы понять, но мат. закорючки сам я понимаю с трудом ... SergeyJ 06:31, 5 июля 2008 (UTC)
2. Есть масса методов, тот же SVM например. - Возможно, Вы не правильно меня поняли, меня интересует можно ли заранее узнать мат. способом разделима ли обучающая выборка линейно ... А SVM - это как я понимаю подвид нейронной сети (или его можно так представить), ну так и одним слоем пороговых элементов можно это постфактум определить - нет сходимости, значит линейно не разделимо ... но интересно знать до того ... SergeyJ 06:41, 5 июля 2008 (UTC)
3. Если дадите мне ссылку на описание работоспособного метода, решающего все эти проблемы, с удовольствием заменю на него всю свою галиматью. - что значит все эти проблемы, я уже писал, что многих проблем имеющих место в обратном распространении ошибки, нету в перцептроне Розенблатта, обученного по методу коррекции ошибки ... Но у него есть другие проблемы, которые вы в своих лекциях даже не упоминаете, не смотря на то, что они есть у всех видов ИНС - в основном это проблема с инвариантностью ... SergeyJ 06:48, 5 июля 2008 (UTC)
4. Эффективнее, чем тупое вычисление градиента в лоб. Там написано, с чем сравниваемся. - наверное где-то маленькими буквами, мне казалось, что сравнивать нужно с наилучшими на данный момент технологиями, а то появляется мнение, что "эффективнее любых других методов" ... Очень хорошо, что Вы уточнили - это очень важно ... да, и тогда все становится на места ... "тупое вычисление градиента" - это если я правильно понимаю через производные ? ... тогда не мудренно ... Вот было бы интересно сравнить с методом Гаусса, за сколько расчетов можно решить систему уравнение - вот это было бы польза от математиков ... Еще очень интересно, как зависит соотношение - имеем бинарную матрицу, задача построить отношение в зависимости от размерности - типа матрица 3х3 - число возможных матриц 2^9 и количества матриц, которые имеет детерминант равный нулю ... вот это была бы польза ... у меня много вопросов к математикам, а они мне только про градиенты впаривают - отсюда и эмоции :) SergeyJ 07:00, 5 июля 2008 (UTC)
5. Лекция предполагает, что её слушают с самого начала. Пришёл к середине — сам виноват. - лектор всегда прав :) Ну, а кроме шуток - что обозначенно буквой O (мне так и не удалось найти) ? , выражение в скобках судя по всему число связей в сети ? SergeyJ 07:23, 5 июля 2008 (UTC)

Удалять ли перечень методов классификации из данной статьи?

В защиту перечня: это заготовка для создания новых статей по красным ссылкам. Рано или поздно эти статьи всё равно должны быть написаны. — К.Воронцов 12:14, 4 июля 2008 (UTC)

Да, удалять. Список методов перенесен в Портал:Искусственный интеллект/Список статей для дальнейшего анализа, часть методов к ИИ не относятся, а часть относятся, другая часть уже есть, но названна по другому ... в любом случае над списками нужно работать в одном месте, чтобы устранять дублирования ... Возможно, часть методов больше подходит для портала по математике, но этим порталом я не занимаюсь (что не исключает пересечения этих порталов на уровне статей и категорий, т.к. не некоторые подходы ИИ нужно объяснять с точки зрения математики или статистики, и наоборот, в ИИ как правило показывают, почему лучше отказаться от классических методов математики и статистики) SergeyJ 13:06, 4 июля 2008 (UTC)

Переименовывание

На основании обсуждения Википедия:К_переименованию/22_июля_2008 переименована в Классификация (задача) SergeyJ 12:30, 4 августа 2008 (UTC)

На основании обсуждения Обсуждение:Обучение с учителем уточненно и названо "Задача классификации" SergeyJ 17:45, 25 августа 2008 (UTC)