MLOps

MLOps – це набір практик на перетині машинного навчання, DevOps та інженерії даних.

MLOps або ML Ops – це парадигма, метою якої є надійне та ефективне розгортання та підтримка моделей машинного навчання у виробництві. Вона усуває розрив між розробкою машинного навчання та виробничими операціями, забезпечуючи надійність, масштабованість та відповідність моделей бізнес-цілям. Це слово є поєднанням слів «машинне навчання» та практики безперервної доставки (CI/CD) DevOps у сфері програмного забезпечення. Моделі машинного навчання тестуються та розробляються в ізольованих експериментальних системах. Коли алгоритм готовий до запуску, MLOps практикується фахівцями з обробки даних, DevOps та інженерами машинного навчання для перенесення алгоритму у виробничі системи. Подібно до підходів DevOps або DataOps, MLOps прагне підвищити автоматизацію та покращити якість виробничих моделей, одночасно зосереджуючись на бізнес-вимогах та нормативних вимогах. Хоча MLOps починався як набір найкращих практик, він повільно розвивається в незалежний підхід до управління життєвим циклом моделей машинного навчання. MLOps застосовується до всього життєвого циклу – від інтеграції з генерацією моделей (життєвий цикл розробки програмного забезпечення, безперервна інтеграція / безперервна доставка), оркеструва­н­ня та розгортання до стану справ, діагностики, управління та бізнес-метрик.

Визначення

MLOps – це парадигма, що включає такі аспекти, як найкращі практики, набори концепцій, а також культуру розробки, коли йдеться про комплексну концептуалізацію, впровадження, моніторинг, розгортання та масштабованість продуктів машинного навчання. Найголовніше, це інженерна практика, яка використовує три дисципліни, що сприяють розвитку систем машинного навчання: машинне навчання, програмну інженерію (особливо DevOps) та інженерію даних . MLOps спрямований на впровадження систем машинного навчання у виробництво шляхом подолання розриву між розробкою (Dev) та експлуатацією (Ops). По суті, MLOps прагне сприяти створенню продуктів машинного навчання, використовуючи такі принципи: автоматизація CI/CD, оркестровка робочих процесів, відтворюваність; керування версіями даних, моделі та коду; співпраця; безперервне навчання та оцінювання ML; відстеження та реєстрація метаданих ML; безперервний моніторинг; та цикли зворотного зв'язку.

Історія

Проблеми постійного використання машинного навчання в додатках були висвітлені в статті 2015 року. Прогнозоване зростання машинного навчання включало оціночне подвоєння пілотних проектів та впроваджень машинного навчання з 2017 по 2018 рік, а потім знову з 2018 по 2020 рік. MLOps швидко почало набирати популярності серед експертів зі штучного інтелекту/модельного навчання, компаній та технологічних журналістів як рішення, яке може вирішити проблему складності та зростання машинного навчання в бізнесі.

Звіти показують, що більшість (до 88%) корпоративних ініціатив у сфері машинного навчання мають труднощі з виходом за межі початкових тестових етапів. Однак ті організації, яким вдалося впровадити машинне навчання у виробництво, показали збільшення прибутку на 3–15%. Розмір ринку MLOps становив 2 191,8 млн доларів США у 2024 році та, за прогнозами, становитиме 16 613,4 млн доларів США у 2030 році.

Архітектура

Системи машинного навчання можна розділити на вісім різних категорій: збір даних, обробка даних, розробка функцій, маркування даних, проектування моделей, навчання та оптимізація моделей, розгортання кінцевих точок та моніторинг кінцевих точок. Кожен крок життєвого циклу машинного навчання побудований у власній системі, але вимагає взаємозв'язку. Це мінімально необхідні системи, які необхідні підприємствам для масштабування машинного навчання в межах своєї організації.

Цілі

Існує низка цілей, яких підприємства хочуть досягти за допомогою систем MLOps, успішно впроваджуючи машинне навчання по всьому підприємству, зокрема:

• Розгортання та автоматизація
• Відтворюваність моделей та прогнозів
• Діагностика
• Управління та дотримання нормативних вимог
• Масштабованість
• Співпраця
• Використання в бізнесі
• Моніторинг та управління

Стандартна практика, така як MLOps, враховує кожну з вищезгаданих областей, що може допомогти підприємствам оптимізувати робочі процеси та уникнути проблем під час впровадження.

Загальна архітектура системи MLOps включатиме платформи обробки даних, де будуються моделі, та аналітичні механізми, де виконуються обчислення, причому інструмент MLOps керуватиме переміщенням моделей машинного навчання, даних та результатів між системами.

Див. також

• ModelOps, згідно з Gartner, MLOps є підмножиною ModelOps . MLOps зосереджений на операціоналізації моделей машинного навчання, тоді як ModelOps охоплює операціоналізацію всіх типів моделей штучного інтелекту.
• AIOps, схожа на назву, але інша концепція — використання штучного інтелекту (ML) в ІТ та операціях.