Автоматическое машинное обучение

Автоматическое машинное обучение (AutoML) — процесс автоматизации сквозного процесса применения машинного обучения к задачам реального мира. В типичном приложении машинного обучения пользователь должен применить подходящие методы предварительной обработки данных, конструирования признаков, выделения признаков и выбора признаков, которые делают набор данных пригодным для обучения машин. После этих шагов работник должен осуществить выбор алгоритма и оптимизацию гиперпараметров для максимизации прогнозируемой производительности конечной модели. Поскольку многие из этих шагов не могут осуществить люди, не будучи экспертами, был предложен подход AutoML как основанное на искусственном интеллекте решение для всё возрастающей необходимости применения машинного обучения. Автоматизация сквозного процесса применения машинного обучения даёт преимущество получения более простых решений, более быстрого создания таких решений и моделей, которые часто превосходят модели, построенные вручную.

Автоматическое машинное обучение может иметь целью различные стадии процесса:

• автоматическая подготовка данных и сбор и сохранение данных (из сырых данных и разнообразных форматов):
  • автоматическое определение типа столбца, например, булевские данные, дискретные численные данные, непрерывные числовые значения или текст;
  • автоматическое определение смысла столбца; например, цель, метка, поле районирования, числовой признак, текстовая категория или свободный текст;
  • автоматическое обнаружение задач, например, двоичная классификация, регрессия, выделение кластеров или ранжирование;
• автоматическое конструирование признаков:
  • выбор признаков
  • выделение признаков
  • метаобучение и перенос обучения
  • обнаружение и обработка асимметричных данных или отсутствующих значений;
• автоматический выбор модели;
• оптимизация гиперпараметров алгоритма обучения и характеризации;
• автоматический выбор каналов по времени, памяти и ограничений сложности;
• автоматический выбор метрик оценки и процедур валидации;
• автоматическая проверка задач:
  • определение утечки;
  • определение ошибок в конфигурации;
• автоматический анализ полученных результатов;
• пользовательские результаты и визуализация для автоматического обучения машин

Литература

• Kotthoff L., Thornton C., Hoos H. H., Hutter F., Leyton-Brown K. Auto-WEKA 2.0: Automatic model selection and hyperparameter optimization in WEKA // Journal of Machine Learning Research. — 2017.
• Feurer M., Klein A., Eggensperger K., Springenberg J., Blum M., Hutter F. Efficient and Robust Automated Machine Learning // Advances in Neural Information Processing Systems 28 (NIPS 2015). — 2015.
• Olson R. S., Urbanowicz R. J., Andrews P.C., Lavender N. A., Kidd L., Moore J. H. Automating biomedical data science through tree-based pipeline optimization // Proceedings of EvoStar 2016. — 2016. — doi:10.1007/978-3-319-31204-0_9. — arXiv:1601.07925.
• Olson R. S., Bartley N., Urbanowicz R. J., Moore J. H. Evaluation of a Tree-based Pipeline Optimization Tool for Automating Data Science // Proceedings of EvoBIO 2016. — 2016. — doi:10.1145/2908812.2908918. — arXiv:1603.06212.
• Alex G. C. de Sá, Walter José G. S. Pinto, Luiz Otavio V. B. Oliveira, Gisele L. Pappa. RECIPE: A Grammar-Based Framework for Automatically Evolving Classification Pipelines (англ.). — Springer International Publishing, 2017. — (Lecture Notes in Computer Science). — ISBN 9783319556956. — doi:10.1007/978-3-319-55696-3_16.