Обучение с частичным привлечением учителя

Полуавтоматическое обучения или частичное обучение (англ. Semi-supervised learning) – способ машинного обучения, разновидность обучения с учителем, которое также использует немаркированные данные для тренировки — обычно небольшое количество помаркованих данных и большое количество немаркированных данных. Полуавтоматическое обучение занимает промежуточную позицию между обучением без учителя (без привлечения каких-либо помаркованих данных для тренировки) и обучением с учителем (с привлечением лишь помаркованих данных). Многие исследователи машинного обучения обнаружили, что немаркированные данные, при использовании в сочетании с небольшим количеством помаркованих данных, могут значительно улучшить точность обучения. Задание помаркованих данных для задачи обучения часто требует квалифицированного человека (например, для транскрибирования аудио файла) или физического эксперимента (например, для определения 3D структуры белка или выявления наличия нефти в определенном регионе). Поэтому затраты на маркировку данных могут сделать процесс обучения с использованием лишь помаркованих данных невыполнимым, в то время как процесс задания немаркированных данных не является очень затратным. В таких ситуациях, полуавтоматическое обучения может иметь большое практическое значение. Такое обучение также представляет интерес в сфере машинного обучения и как модель для человеческого обучения.

Задача обучения

Как и в рамках обучения с учителем, нам дается множество ${\displaystyle }$ независимых одинаково распределенных примеров ${\displaystyle }$ с соответствующими пометками ${\displaystyle }$. Кроме того, нам дано ${\displaystyle }$ непомаркованих примеров ${\displaystyle }$. Цель полуавтоматической обучения заключается в том, чтобы использовать эту комбинированную информацию для достижения лучших результатов производительности классификации, которую можно получить или путем отбрасывания немаркированных данных и использование обучения с учителем, или путем отбрасывания меток и использование обучения без учителя.

Полуавтоматическое обучения может принадлежать к трансдуктивного обучения или индуктивного обучения. Целью трансдуктивнго обучения является выведение правильных меток только для немаркированных данных ${\displaystyle }$. Целью индукции является выведение правильного отображения с ${\displaystyle }$ в ${\displaystyle }$.

Мы можем представлять задачу обучения как экзамен, а промаркированы данные — как несколько примеров, которые учитель решил в классе. Учитель также предоставляет набор нерешенных задач. В постановке трансдуктивного обучения, эти нерешенные задачи является экзаменом, который забирают домой, и вы хотите хорошо его составить в целом. В постановке индуктивного обучения, эти практические задачи являются подобными тем, с которыми вы столкнетесь на экзамене в классе. Необязательно (и, согласно принципу Вапніка, неблагоразумно) проводить трансдуктивне обучения путем логического вывода правила классификации для всех входных данных. Однако, на практике, алгоритмы, формально предназначенные для трансдукции или индукции, часто используются как взаємнозамінні.

Предположения, которые используются в полуавтоматическом обучении.

Для того, чтобы использовать немаркированные данные, нужно присвоить некоторую структуру для основного распределения данных. Алгоритмы полуавтоматического обучения используют по крайней мере одно из таких предположений.

Предположение плавности

Точки, которые лежат близко друг от друга промаркированы одинаково с большей вероятностью. Такое же предположение в основном используется и в обучении с учителем и дает преимущество в использовании геометрически простых решений. В случае полуавтоматического обучения, предположение плавности дополнительно дает преимущество для разграничения в регионах с низкой плотностью, где меньше точек, которые расположены близко друг от друга, но разных классов.

Предположение кластеризованості

Данные, как правило, образуют дискретные кластеры, и точки из одного кластера промаркированы одинаково с большей вероятностью (хотя данные, которые используют одинаковые метки, могут быть расположены в нескольких различных кластерах). Это особый случай предположения плавности, который приводит к обучение признаков используя алгоритмы кластеризации.

Предположение многовидності (разнообразия)

Данные собраны примерно в многовиді с гораздо меньшей размерностью, чем входное пространство. В этом случае мы можем попытаться изучить многовид используя как промаркированы так и немаркированные данные для того, чтобы избежать проклятия размерности. Тогда обучение может протекать с использованием расстояний и плотностей, определенных на многовиді.

Предположение многовидності имеет практическое применение, когда многомерные данные генерируются определенным процессом, который трудно непосредственно смоделировать, но который имеет только несколько степеней отклонения. Например, человеческий голос контролируется несколькими голосовыми связками, а изображение различных выражений лица контролируются несколькими мышцами. В этих случаях нам удобнее использовать расстояния и плавности в природном пространстве проблемы генерирования, чем в пространстве всех возможных акустических волн или изображений, соответственно.

История

Эвристический подход самообучения (также известный как самомаркування) исторически самый старый подход к полуавтоматической обучения, с примерами программ, начиная с 1960-х годов (см., например, Scudder (1965)).

Структуру трансдуктивного обучения было официально представлено Владимиром Вапником в 1970-х годах. Заинтересованность в сфере индуктивного обучения с использованием генеративных моделей также появилась в 1970-е годы. Вероятно почти правильное обучение в направлении полуавтоматической изучения гаусової смеси было продемонстрировано Ратсабі и Венкатешем в 1995 году.

Полуавтоматическое обучения в последнее время становится все более популярным и практически актуальным в связи с целым рядом задач, для которых доступно огромное количество немаркированных данных (например, текст вебстраниц, белковые последовательности или изображения. Для просмотра последних работ см. исследовательскую статью, написанную Чжу (2008).

Подходы к напівавтоматичого обучения

Генеративные модели

Генеративные подходы к статистическому изучению в первую очередь стремятся оценить ${\displaystyle }$, распределение точек данных для каждого класса. Вероятность ${\displaystyle }$ такая, что данная точка ${\displaystyle }$ имеет метку ${\displaystyle }$, будет пропорциональной ${\displaystyle }$ по теореме Баєса. Полуавтоматическое обучения с использованием генеративных подходов можно рассматривать либо как расширение обучения с учителем (классификация и информация о ${\displaystyle }$), или как расширение обучения без учителя (кластеризация и некоторые метки).

Генеративные модели предполагают, что распределения принимают определенную форму ${\displaystyle }$ , параметризовану вектором ${\displaystyle }$ . Если эти предположения являются неправильными, то немаркированные данные могут фактически снизить точность решения по сравнению с тем, которое было бы получено только с помаркованих данных. Однако, если эти предположения верны, то немаркированные данные обязательно повысят результативность.

Немаркированные данные распределены согласно смеси индивидуально-классовых разделений. Для того, чтобы распределение смеси из немаркированных данных подлежал изучению, эти данные должны быть узнаваемыми, то есть различные параметры должны приводить к различным итоговых распределений. Распредели гаусової смеси являются узнаваемыми и обычно используются в генеративных моделях.

Параметризованный совместное распределение можно записать в виде ${\displaystyle }$ с помощью цепного правила. Каждый вектор ${\displaystyle }$ связан с функцией ${\displaystyle }$. Затем параметр выбирается на основе подгонки как к помаркованих там и до немаркированных данных, уравновешенных с помощью ${\displaystyle }$:

${\displaystyle }$

Разделение низкой плотности

Это еще один важный класс методов, который пытается разграничить регионы, в которых есть несколько точек с данными (помаркованими или немаркированными). Одним из наиболее часто используемых алгоритмов является трансдуктивний метод опорных векторов, или ТМОВ (который, несмотря на название, может также быть использованным для индуктивного обучения). В то время как метод опорных векторов для обучения с учителем ищут решение краевой с максимальной маржой в помаркованих данных, целью ТМОВ является обозначение немаркированных данных таким образом, что решение краевой имеет максимальную маржу в сравнении со всеми данными. В дополнение к стандартной петли потери ${\displaystyle }$ для помаркованих данных, функция потерь ${\displaystyle }$ вводится и для немаркированных данных, обозначив ${\displaystyle }$. ТМОВ потом выбирает ${\displaystyle }$ с гільбертового пространства воспроизводимого ядра ${\displaystyle }$ путем минимизации регуляризованого эмпирического риска:

${\displaystyle }$

Точное решение является неразрешимым через неопуклий член ${\displaystyle }$, поэтому исследования сосредоточены на поиске полезных приближений.

Другие подходы, которые осуществляют распределение низкой плотности, включают в себя модели гауссова процесса, упорядочение информации, и минимизацию энтропии (из которых ТМОВ является частным случаем).

Методы на основе графов

Методы на основе графов для полуавтоматической обучения используют данные, представленные при помощи графа, с узлом для каждого помаркованого или немаркированного примера. Граф может быть построен с использованием знаний в предметной области или на основе сходства примеров. Два общие подходы включают соединение каждой точки данных с ее ${\displaystyle }$ ближайшими соседями или с примерами на расстоянии в пределах ${\displaystyle }$. Вес ${\displaystyle }$ ребра между ${\displaystyle }$ и ${\displaystyle }$ устанавливается равной ${\displaystyle }$.

В рамках регуляризации многовидності граф служит как представитель многовидності. Выражение добавляется к стандартной задаче регуляризации Тихонова для обеспечения гладкости решения относительно многовидності (в собственном пространстве задачи), а также окружающей входного пространства. Задачей минимизации становится:

${\displaystyle }$

где ${\displaystyle }$ — это гильбертово пространство воспроизводимого ядра, а ${\displaystyle }$ — многовид данным. Параметры регуляризации ${\displaystyle }$ и ${\displaystyle }$ контролируют гладкость в близлежащих и внутренних пространствах соответственно. Граф используется для аппроксимации внутреннего регуляризуючого члена. Определив матрицу Кирхгофа ${\displaystyle }$, где ${\displaystyle }$ и ${\displaystyle }$ вектор ${\displaystyle }$, получаем:

${\displaystyle }$

Эвристические подходы

Некоторые из методов полуавтоматического обучения не приспособлены для использования одновременно как помаркованих так и немаркированных данных, но зато могут привлекать немаркированные данные для обучения с учителем. Например, промаркированы и немаркированные примеры ${\displaystyle }$ могут информировать о способе представления, метрику, или ядра данных на первом шаге без учителя. Тогда обучение с учителем обрабатывает только промаркированы примеры.

Самообучение — метод-обертка полуавтоматической обучения. Первоначально обучение с учителем обрабатывает только промаркированы данные. Этот классификатор затем применяется к немаркированных данных, чтобы сгенерировать больше помаркованих примеров для обучения с учителем. В общем, можно быть уверенным, что только метки классификатора добавляются на каждом шагу.

Совместное обучение является расширением самообучения, при котором несколько классификаторов прорабатывают разные (в идеале, непересекающиеся) множества признаков и генерируют промаркированы примеры друг для друга.

Полуавтоматическое обучения в человеческом восприятии

Человеческие ответы на формальные задачи полуавтоматического обучения принесли различные выводы относительно степени влияния немаркированных данных (краткое изложение см. ). Много задач естественного обучения также можно рассматривать как примеры полуавтоматической обучения. Большинство принципов человеческого обучения предусматривает небольшое количество прямых инструкций (например, маркировка объектов родителями в детстве) в совокупности с огромным количеством немаркированных примеров (например, наблюдения за объектами не называя или не считая их, или по крайней мере не описывая их).

Младенцы чувствительны к структуре немаркированных данных, таких как изображения собак и кошек, или мужских и женских лиц. Недавние исследования обнаружили, что младенцы и дети учитывают не только доступные немаркированные примеры, но и процесс отбора из них, в результате которого возникают промаркированы примеры.

См. также

• Обучение с учителем

Ссылка

• [1] Свободно доступная реализация MATLAB графа на основе алгоритмов полуавтоматического обучения лапласівського метода опорных векторов и лапласівської регуляризации методом наименьших квадратов
• [2] Модуль КИЛЬ для полуавтоматической обучения.
• [3] Программное обеспечение для полуавтоматического обучения
• [4] Алгоритмы полуавтоматического обучения в scikit-learn .