MLOps
MLOps или ML Ops — набор практик, нацеленных на надежное и эффективное развертывание и поддержание моделей машинного обучения на производстве.[1] Слово является смесью слов "машинное обучение" (ML) и практик непрерывной разработки — DevOps в области программного обеспечения. Модели машинного обучения тестируются и разрабатываются в изолированных экспериментальных системах. Когда алгоритм готов к запуску, MLOps используется учеными в области данных, DevOps, и инженерами машинного обучения для его доставки в производственные системы.[2] Также как при использовании DevOps или DataOps подходах, MLOps нацелен на рост автоматизации и улучшения качества производственных моделей, в то же время фокусируясь на бизнес и нормативных требованиях. Хотя MLOps начинался как набор самых лучших практик, он медленно эволюционировал в независимый подход к управлению жизненного цикла машинного обучения. Практики MLOps применяются к целому жизненному циклу — от интеграции c генерацией модели, непрерывной интеграцией/непрерывной доставкой, оркестровкой, и развертыванием, до метрик состояния, диагностики, управления и бизнеса. Согласно компании Gartner, MLOps является подмножеством ModelOps. Он сфокусирован на операционализации моделей машинного обучения, в то время как ModelOps охватывает операционализацию всех типов моделей искусственного интеллекта (AI).[3]
История
[править | править код]Проблемы непрерывного использования машинного обучения в приложениях были освещены в документе от 2015 года.[4]
Прогнозируемый рост в машинном обучении включал двойной рост тестовых и реализованных проектов в машинном обучении с 2017 по 2018 год, и снова с 2018 по 2020 год.[5]
Отчеты показывают, что большинство (до 88%) корпоративных начинаний, связанных с искусственным интеллектом, имеют сложности с продвижением дальше тестовых уровней. Несмотря на это, те организации, которые стали использовать AI и ML в производстве увидели увеличение рентабельности от 3 до 15%.[6]
Рынок MLOps был оценен примерно в 23.2 миллиарда долларов в 2019 году и спроецирован достичь 126 миллиардов долларов к 2025 году в связи со стремительным принятием данных практик.[7]
Архитектура
[править | править код]Системы машинного обучения можно разделить на 8 различных категорий: сбор данных, обработка данных, конструирование признаков, разметка данных, проектирование модели, тренировка модели и её оптимизация, развертывание на конечной точке, и мониторинг конечной точки. Каждый шаг в жизненном цикле машинного обучения построен на своей собственной системе, но требует взаимосвязи. Представленные выше категории являются минимальным набором систем, необходимых предприятиям для масштабирования машинного обучения внутри организаций.
Цели
[править | править код]Существует несколько целей, которые предприятия хотят достичь с помощью систем MLOps для успешной реализации проектов машинного обучения на производстве, среди них:[8]
- Развертывание и автоматизация[9]
- Воспроизводимость моделей и прогнозирований[10]
- Диагностики[10]
- Административное управление и соблюдение нормативных требований[11]
- Масштабируемость[12]
- Сотрудничество[13]
- Использование бизнесом[14]
- Мониторинг и операционное управление[15]
Стандартная практика, такая как MLOps, принимает во внимание каждую из вышеуказанных областей, помогая предприятиям оптимизировать рабочий процесс и избегать проблем во время реализации.
Распространенная архитектура системы MLOps включает платформы, предназначенные для науки о данных, на которых строятся модели, и аналитические движки, где выполняются вычисления, а инструменты MLOps оркестрируют движение моделей машинного обучения, данных и результатов между этими системами.[8]
См. также
[править | править код]- ModelOps, согласно компании Gartner, MLOps представляет подмножество ModelOps. MLOps сфокусирован на операционализации моделей машинного обучения, в то время как ModelOps охватывает операционализацию всех типов моделей искусственного интеллекта (AI).[3]
- AIOps, названный похоже, отличный концепт, использующий искусственный интеллект (AI (ML)) в IT и Операциях.
Ссылки
[править | править код]- ↑ 1 2 Breuel, Cristiano ML Ops: Machine Learning as an Engineering Discipline (англ.). Towards Data Science. Дата обращения: 6 июля 2021. Архивировано 8 февраля 2023 года.
- ↑ Talagala, Nisha Why MLOps (and not just ML) is your Business’ New Competitive Frontier . AITrends. AITrends. Дата обращения: 30 января 2018. Архивировано из оригинала 19 января 2021 года.
- ↑ 1 2 Vashisth, Shubhangi; Brethenoux, Erick; Choudhary, Farhan; Hare, Jim Use Gartner’s 3-Stage MLOps Framework to Successfully Operationalize Machine Learning Projects . Gartner. Gartner. Дата обращения: 30 октября 2020.
- ↑ Sculley, D.; Holt, Gary; Golovin, Daniel; Davydov, Eugene; Phillips, Todd; Ebner, Dietmar; Chaudhary, Vinay; Young, Michael; Crespo, Jean-Francois; Dennison, Dan (2015-12-07). "Hidden Technical Debt in Machine Learning Systems" (PDF). NIPS Proceedings (2015). Архивировано (PDF) 19 сентября 2017. Дата обращения: 14 ноября 2017.
- ↑ Sallomi, Paul; Lee, Paul Deloitte Technology, Media and Telecommunications Predictions 2018 . Deloitte. Deloitte. Дата обращения: 13 октября 2017. Архивировано 8 февраля 2023 года.
- ↑ Bughin, Jacques; Hazan, Eric; Ramaswamy, Sree; Chui, Michael; Allas, Tera Artificial Intelligence The Next Digital Frontier? McKinsey. McKinsey Global Institute. Дата обращения: 1 июня 2017. Архивировано 16 февраля 2023 года.
- ↑ 2021 MLOps Platforms Vendor Analysis Report . Neu.ro. Дата обращения: 10 августа 2021. Архивировано 8 февраля 2023 года.
- ↑ 1 2 Walsh, Nick The Rise of Quant-Oriented Devs & The Need for Standardized MLOps . Slides. Nick Walsh. Дата обращения: 1 января 2018. Архивировано 8 февраля 2023 года.
- ↑ Code to production-ready machine learning in 4 steps (англ.). DAGsHub Blog (3 февраля 2021). Дата обращения: 19 февраля 2021. Архивировано 4 марта 2021 года.
- ↑ 1 2 Warden, Pete The Machine Learning Reproducibility Crisis . Pete Warden's Blog. Pete Warden. Дата обращения: 19 марта 2018. Архивировано 8 февраля 2023 года.
- ↑ Vaughan, Jack Machine learning algorithms meet data governance . SearchDataManagement. TechTarget. Дата обращения: 1 сентября 2017. Архивировано 24 октября 2021 года.
- ↑ Lorica, Ben How to train and deploy deep learning at scale . O'Reilly. O'Reilly. Дата обращения: 15 марта 2018. Архивировано 16 ноября 2018 года.
- ↑ Garda, Natalie IoT and Machine Learning: Why Collaboration is Key . IoT Tech Expo. Encore Media Group. Дата обращения: 12 октября 2017. Архивировано 8 февраля 2023 года.
- ↑ Manyika, James What’s now and next in analytics, AI, and automation . McKinsey. McKinsey Global Institute. Дата обращения: 1 мая 2017. Архивировано 8 февраля 2023 года.
- ↑ Haviv, Yaron MLOps Challenges, Solutions and Future Trends . Iguazio. Iguazio. Дата обращения: 19 февраля 2020. Архивировано 8 февраля 2023 года.