LLM и генеративный искусственный интеллект имеют большое значение для практики MLOps

Статьи / Анализ

Уникальные потребности в разработке искусственного интеллекта (ИИ) породили практики MLOps, адаптированные для создания и развертывания моделей машинного обучения. Эти практики постоянно меняются, и эти практики могут подвергнуться еще одной встряске, поскольку генеративный искусственный интеллект и модели большого языка (LLM) служат основой для новых приложений.

Когда в прошлом происходили прорывы в моделях машинного обучения (ML), новости ограничивались небольшими сообществами специалистов по искусственному интеллекту. База данных распознавания объектов Image Net в 2012 году и нейронная архитектура Transformer, описанная Google в 2017 году, были незначительными изменениями в технологическом сознании.

Не так с ChatGPT. Когда он был добавлен в Bing и браузер Edge, он произвел фурор во всем мире. Руководителям высшего звена пришлось обратить внимание на то, что генеративный искусственный интеллект, LLM и фундаментальные модели, казалось, указывали на существенные инновации. Генеративный ИИ открывает новые формы взаимодействия с чат-ботами, суммирования и генерации контента, генерации программного кода и многого другого.

Консультационная компания Deloitte утверждает, что генеративный искусственный интеллект создает волну перемен. Около 55% опрошенных в опросе Deloitte/Forbes, проведенном в 2023 году среди 143 руководителей, оценивают или экспериментируют с генеративным искусственным интеллектом.

Между тем, 79% согласны с тем, что генеративный ИИ повысит эффективность, а 52% опрошенных считают, что он увеличит возможности роста. Deloitte сообщила, что 37% респондентов уже в той или иной степени внедряют генеративный искусственный интеллект.

Спешка к LLM и потребность в первоклассных инструментах разработки ML ускорили приобретения в сфере ML Ops. Некоторые зрители также начинают различать «пространство LLM Ops».

Многие рассматривают подобные покупки как игру по привлечению талантов, подчеркивая проблемы с навыками, которые омрачают перспективы генеративного ИИ.

Сейчас команды работают над освоением новой технологии как в режиме обучения, так и в режиме вывода. Программы LLM, лежащие в основе инноваций генеративного искусственного интеллекта, требуют крупномасштабных аппаратных и программных архитектур, поддерживающих распределенные вычисления. Память и вычислительные ресурсы должны быть настроены так, чтобы уменьшить задержку при взаимодействии человека и машины. Все это быстро приводит к затратам, которые сводят на нет некоторые многообещающие проекты.

Более того, программы LLM опираются на огромные данные по обучению, которые необходимо курировать и контролировать. Выходные данные LLM могут быть нестабильными; иногда разработчики полагаются на итеративное быстрое проектирование, неоднократно запрашивая модель, а затем обдумывая случайный характер ответов по мере их поступления. Тем не менее, независимые разработчики и поставщики всех размеров видят пути решения проблем.

«Большие языковые модели превосходны в рассуждениях общего назначения, но они чрезвычайно хрупкие», — сказала Шрея Раджпал, выступавшая на недавнем саммите Databricks Data and AI Summit 2023. «Получить правильные результаты из больших языковых моделей сложно».

«Когда вы масштабируете его, нет никаких гарантий, что он будет работать так, как вы ожидаете», — сказала она участникам Data and AI Summit.

Раджпал — бывший старший инженер Apple ML, а теперь основатель стартапа Guardrails AI, который создает программное обеспечение, позволяющее лучше гарантировать качество результатов LLM.

По словам Раджпала, поскольку LLM применяются на предприятиях, где правильность имеет решающее значение, существует острая необходимость проверки вводимых данных. Проверка вращается вокруг языковых структур и типов, проверки ненормативной лексики или длины ответов и многого другого. В Guardrails AI Раджпал использует инструменты проверки, стремясь лучше гарантировать качество результатов LLM.

Контейнерные технологии продолжают стимулировать разработку автоматизированного машинного обучения. Они способствуют жизненно важному сотрудничеству между учеными, работающими с данными, и операторами. По словам Джоша Подуски, главного специалиста по данным в Domino Data Lab, которая с момента своего создания в 2013 году оттачивала навыки аналитики для различных клиентов из списка Fortune 100, уникальные задачи LLM потребуют улучшения управления контейнерами.

«Наука о данных сегодня во многом основана на контейнерах. На уровне предприятия они играют огромную роль в создании основы платформы для обработки данных. Для LLM требуется другой вариант контейнера, чем для традиционного машинного обучения, и это предъявляет новые требования к платформам управления контейнерами, которые поддерживают лучшее сотрудничество и лучшую воспроизводимость», — отметил он.