Фреймворки для ИИ-агентов: LangGraph, CrewAI, AutoGen и другие — как выбрать

ИИ-агент может самостоятельно выполнять задачи: анализировать данные, обращаться к внешним сервисам, вызывать инструменты и взаимодействовать с другими агентами. Чтобы организовать эту работу, разработчики используют специальные фреймворки. Они помогают управлять последовательностью действий, вызовами инструментов и взаимодействием между агентами, а также контролировать работу системы.

У разных фреймворков свои подходы к управлению агентами и набор возможностей. Одни лучше подходят для простых сценариев, другие — для сложных процессов с несколькими агентами и большим количеством инструментов. Поэтому выбор зависит от задач проекта и требований к будущей системе. В статье сравниваем LangGraph, CrewAI, AutoGen и другие популярные решения и разбираемся, как выбрать подходящий фреймворк.

• Что такое фреймворк для ИИ-агентов и зачем он нужен
• LangChain и LangGraph
• CrewAI: команда агентов с ролями
• AutoGen: мультиагентный диалог
• Другие фреймворки
• Как выбрать фреймворк под задачу
• MCP и A2A: протоколы, которые связывают агентов и инструменты
• Как запустить агента в продакшене
• ИИ-агенты в Evolution AI Agents

Фреймворки для ИИ-агентов — это платформы или наборы инструментов, которые упрощают разработку ИИ-агентов и управление ими. Также они помогают цифровым помощникам эффективнее выполнять задачи и работать в разных приложениях.

Прежде чем выбирать фреймворк для ИИ-агента, важно разобраться, какие подходы к организации работы ИИ-систем существуют. Агент, workflow и мультиагентная система отличаются тем, как выполняют задачи, принимают решения и взаимодействуют между собой. Рассмотрим каждый подход подробнее.

Агент — ИИ-система, которая получает задачу, планирует свои действия и вызывает разные инструменты для достижения цели. Например, не просто находит для пользователя первые попавшиеся билеты на самолет, а сравнивает варианты по цене и времени, чтобы предложить лучшие варианты.

Workflow — заранее заданный алгоритм, который выполняется с учетом строгих правил. LLM здесь просто инструмент, применяемый на отдельных этапах. Например, пользователь может попросить языковую модель перевести текст и извлечь конкретные данные.

Мультиагентная система — пул ИИ-агентов, которые совместно работают над одной задачей. Они могут самостоятельно распределять шаги и делиться друг с другом результатами. Например, один агент ищет документы по запросу, второй — выбирает наиболее релевантные, третий — делает отчет.

Главное различие между этими подходами — в способе организации работы. Workflow следует заранее заданному сценарию, агент самостоятельно планирует свои действия, а мультиагентная система объединяет нескольких агентов для решения общей задачи.

При этом подходы можно сочетать: агент может работать внутри workflow, а мультиагентная система — использовать workflow для координации действий агентов. Это важно учитывать при выборе фреймворка: разные инструменты предлагают разные способы управления логикой и взаимодействием ИИ-агентов.

Основные задачи, применимые в разных ИИ-архитектурах:

• Планирование и декомпозиция — разбиение больших целей на шаги и выбор алгоритмов для их выполнения.
• Управление состоянием — контроль за логикой действий агентов и маршрутизацией процессов.
• Интеграция и вызов инструментов — подключение к API, базам данных, веб-поиску и др.
• Краткосрочная память — сохранение контекста текущего диалога и контроль лимитов контекстного окна.
• Долгосрочная память — извлечение архивных данных и интеграция с векторными базами в рамках RAG-подхода для обогащения ответов фактами.
• Координация и оркестрация мультиагентных систем — распределение ролей между ИИ-агентами, организация взаимодействия.
• Наблюдаемость — логирование промптов, рассуждений и действий агента.
• Тестирование — проверка ответов агентов на точность, отсутствие "галлюцинаций" и безопасность.

По сути фреймворк способен превратить языковую модель из обычного чат-бота в автономного цифрового сотрудника, который готов взять на себя часть рабочих задач.

LangChain и LangGraph — семейство фреймворков от одной core-команды. Разберем их архитектурные различия и подходы.

LangChain — модульный фреймворк для разработки приложений на базе больших языковых моделей (LLM). Он предоставляет готовые компоненты для работы с моделями, памятью, инструментами, промптами и ретриверами. С их помощью можно создавать приложения разной сложности: от простых цепочек обработки запросов до чат-ботов и ИИ-агентов, в том числе с поддержкой RAG.

LangChain позволяет объединять компоненты в цепочки обработки данных (chains), где результат одного шага становится входом для следующего. Например, приложение получает от пользователя запрос, через ретривер ищет релевантные документы, передает контекст языковой модели, ждет ответ и возвращает его пользователю.

LangGraph — фреймворк для создания приложений со сложной логикой и сохранением состояния (stateful). Его особенности:

• Логика не в виде пайплайнов, а в виде графов, состоящих из узлов (nodes), связей и общего состояния. Узлы выполняют нужные действия, связи определяют дальнейшую судьбу процессов, а состояние хранит историю диалога агентов и промежуточные результаты.
• Циклы выполнения и ветвления, позволяющие организовывать обратную связь и повторные попытки. Агент может анализировать результаты и решать, что ему делать дальше.
• Система памяти и чекпоинты — сохранение контекста между шагами и фиксация состояния, к которому агент может вернуться в любой момент.
• Принцип Human-in-the-loop — приостановка работы агента на определенном этапе для проверки или подтверждения действий человеком.

Например, цифровой помощник анализирует документ, проверяет, хватает ли данных для ответа и при необходимости повторяет поиск. Перед выдачей ответа результаты может проверить человек.

LangChain подходит для создания агентов с относительно простой логикой и последовательным выполнением задач. Если же агенту нужно работать с многоэтапными процессами, принимать решения в зависимости от условий, обрабатывать ошибки и сохранять состояние между шагами, лучше использовать LangGraph. Он позволяет гибко управлять ходом выполнения задач и контролировать переходы между этапами.

CrewAI — мультиагентный фреймворк с низким порогом входа. С момента создания (2023) является независимым фреймворком, построенным с нуля и не имеющим зависимостей от LangChain. Он реализует ролевую архитектуру для мультиагентных систем без использования компонентов LangChain.

Фреймворк объединяет агентов в команду, где у каждого свои роли, цели, опыт и наборы инструментов. Он поддерживает иерархическую модель, где агент-менеджер (оркестратор) распределяет задачи между агентами-исполнителями и контролирует их работу.

Например, есть задача на подготовку аналитического отчета. Один агент собирает информацию, второй — проверяет данные, третий — формирует текст. Благодаря CrewAI результаты передаются между этапами без ручной настройки координации. Получается, что фреймворк удобен для проектов, где задачи нужно распределять между узконаправленными агентами.

AutoGen — открытый фреймворк для создания мультиагентных систем, где модели могут взаимодействовать между собой и через "общение" решать сложные задачи. Заранее заданной последовательности шагов тут нет — цифровые помощники могут обсуждать результаты в групповом чате, анализировать работу друг друга и при необходимости подключать к проверкам человека.

Например, один ИИ-агент пишет код, другой его запускает и проверяет работоспособность, третий — ищет ошибки и предлагает исправления. Разработчик заранее раздает участникам системы роли, настраивает правила обмена сообщениями и условия завершения задачи. Можно задать фиксированный порядок отправки сообщений или позволить системе самой выбирать следующего участника диалога в зависимости от контекста.

AutoGen подходит для задач, где полезны совместная работа ИИ-агентов и человека. Это оптимальный вариант для проектов, где предполагается разработка года, анализ информации, исследования.

Оригинальный AutoGen от Microsoft переведен в режим поддержки и архивирован; новые функции не разрабатываются, исправления ошибок и обновления безопасности не выпускаются. Microsoft не рекомендует использовать AutoGen в production. Активное развитие продолжается в Microsoft Agent Framework и в community-форке AG2.

Помимо перечисленных популярных решений есть узкоспециализированные. Одни помогают искать данные по большим массивам документов, другие — дают механизмы взаимодействия агентов с инструментами и API, третьи — упрощают интеграцию моделей в приложения. Варианты:

• LlamaIndex — агенты поверх данных и RAG. Фреймворк помогает подключать внешние сервисы, базы данных и API, искать релевантную информацию. С ним удобно создавать ИИ-агентов, которые используют полученные данные для решения задач.
• OpenAI Agents SDK и Google ADK — открытые фреймворки для разработки ИИ-агентов. OpenAI Agents SDK не привязан исключительно к моделям OpenAI и поддерживает работу с моделями разных провайдеров. Google ADK распространяется под лицензией Apache 2.0 и предоставляет инструменты для создания как отдельных агентов, так и мультиагентных систем. Оба SDK поддерживают взаимодействие нескольких агентов в рамках одной задачи.
• smolagents — минималистичный фреймворк для создания цифровых помощников с небольшим количеством кода. Подходит для прототипирования, тестов и экспериментов, а также для легких production-задач, где не требуется сложная оркестрация.

Фреймворк следует выбирать под задачи проекта. LlamaIndex удобен там, где нужно много работать с данными. OpenAI Agents SDK и Google ADK подходят для создания мультиагентных систем. Semantic Kernel помогает интегрировать языковые модели в готовые решения. Smolagents снижает порог входа при разработке простых агентов.

Для наглядности сравним перечисленные решения по ключевым критериям:

Необязательно смотреть в сторону решений с многочисленными функциями, если по факту они не нужны. Стоит ориентироваться на свой проект, требования к нему и реальные бизнес-задачи. Рассказываем, как выбрать подходящий фреймворк, не усложняющий работу агентов.

Для старта подойдет фреймворк, который позволит начать с небольшого количества кода и быстро подключить простую модель. Например, smolagents или CrewAI.

В продакшене важна управляемость, особенно если задачи многоэтапные. Нужно контролировать каждый шаг выполнения, состояния, повторные вызовы модели, расходы. В этом поможет LangGraph.

Не всегда для решения задачи нужна команда ИИ-агентов. Начать лучше с одного: оценить, справляется ли он с поставленными задачами и хватает ли его возможностей по мере роста нагрузки. Если один агент успешно выполняет работу, усложнять архитектуру не стоит. Мультиагентная система потребует дополнительных ресурсов, усложнит координацию и отладку.

Для одного агента можно выбрать любой фреймворк, который соответствует задачам проекта, техническому окружению и бюджету.

Если же работу нужно распределить между несколькими агентами, стоит обратить внимание на фреймворки с поддержкой мультиагентных архитектур, например CrewAI или AutoGen. Когда требуется более сложная логика взаимодействия, управление последовательностью действий и условиями перехода между этапами, подойдет LangGraph.

OpenAI-совместимый API позволяет обращаться к моделям разных провайдеров через общий формат запросов. Это упрощает ситуацию, если нужно подключить альтернативный сервис или заменить модель.

Перед выбором фреймворка убедитесь, что можно указать собственный адрес API и ключ. Проверьте, поддерживаются ли вызов инструментов, потоковая передача ответов, структурированный вывод (если все это необходимо вашему приложению).

Чтобы ИИ-агенты могли связываться друг с другом и с внешними сервисами, нужны общие правила обмена данными. Для этого используют протоколы MCP (Model Context Protocol) и A2A (Agent2Agent Protocol):

• MCP позволяет агенту по единому стандарту подключаться к инструментам, базам данных, сервисам. Это избавляет от необходимости придумывать для каждого инструмента отдельный механизм взаимодействия. Например, через MCP агент поддержки может получить данные о заказе из CRM и проверить статус доставки.
• A2A позволяет автономным ИИ-агентам обмениваться сообщениями, передавать задачи друг другу и делиться результатами. Например, агент поддержки может поручить агенту логистики разобраться с задержкой доставки. После выполнения задачи тот передает результаты обратно, при этом не раскрывая контекст работы и внутреннюю логику.

MCP и A2A — важные открытые стандарты, которые упрощают интеграцию агентов с инструментами и между собой, позволяя избежать разработки проприетарных интеграций с нуля. Однако их использование не является обязательным условием для построения сложных агентных систем. Можно подключать готовые инструменты и использовать их по единым правилам.

Переход от прототипа к продакшену требует не только развертывания приложения, но и подготовки к работе в реальных условиях. Важно заранее продумать, как контролировать поведение агента под нагрузкой, отслеживать ошибки и оценивать затраты на выполнение задач. Это поможет обеспечить стабильную работу системы и избежать непредвиденных расходов.

Перед развертыванием агента вместе с его зависимостями (кодом, компонентами окружения, библиотеками) упаковывают в Docker-образ. Это нужно, чтобы приложение одинаково работало на разных машинах. Секреты и конфигурацию передают отдельно — через менеджер секретов или переменные окружения.

В продакшен-среде Docker-образ оптимизируют с помощью многоэтапной сборки. Это позволяет отбросить всю тяжелую инфраструктуру, исходный код с ошибками и компиляторы на первом этапе сборки. В финальный образ попадает только готовый к запуску результат. Это ускоряет развертывание, сокращает вычислительные ресурсы и снижает количество потенциальных уязвимостей.

Запросы и ответы ИИ-агента логируются, но по обычным логам не всегда удается понять логику выполнения задач. В этом поможет трассировка — фиксация всей последовательности действий. Записываются вызовы языковой модели, обращения к инструментам, результаты поиска, время каждого шага и ошибки. Посмотрев записи, можно легко выстроить всю цепочку.

Результаты трассировки позволяют не только искать ошибки в ответах модели, но и оценивать корректность выбора инструмента, количество шагов, задержки. Это помогает глубже проанализировать работу ИИ-агента в продакшене и в дальнейшем формировать промпты и логику так, чтобы они не "ломали" эффективные сценарии и позволяли обойти проблемные.

В мультиагентных системах трассировка помогает отследить и распределение задач между агентами.

На стоимость работы влияет не только число пользовательских запросов, но и количество вызовов модели. Например, ИИ-агент может в несколько приемов обрабатывать данные, ошибаться, что-то уточнять. Чтобы понять стоимость, лучше смотреть не на цену отдельного вызова, а на совокупный расход входных и выходных токенов.

Есть несколько способов управлять бюджетом:

• Задать лимиты на количество шагов для выполнения задачи, повторных попыток.
• Ограничить объем передаваемого контекста.
• Настроить пороги по бюджетам и уведомления об их превышении.

Для прогнозирования расходов полезно отслеживать стоимость по конкретным моделям и сценариям. Здесь помогает трассировка, благодаря которой удается увидеть причины нецелевых затрат. Например, агент может расходовать больше токенов из-за лишних вызовов модели, слишком длинного контекста или неэффективного цикла действия.

Evolution AI Agents — облачный сервис Cloud.ru для создания, развертывания и эксплуатации автономных агентов и мультиагентных систем. Он предоставляет готовую среду для запуска, подключения инструментов, настройки взаимодействия.

В Evolution AI Agents предусмотрено три способа создания агента:

• Выбрать готового агента из маркетплейса. Можно запустить уже подготовленное решение и использовать его для бизнес-задач.
• Загрузить собственный Docker-образ. Для этого используется Evolution Artifact Registry. Такой вариант подойдет, если агент уже разработан и упакован в контейнер.
• Взять за основу шаблон. Он позволяет создать и настроить собственного агента без разработки с нуля.

Evolution AI Agents поддерживает разные инструменты и технологии разработки ИИ-агентов. Это позволяет использовать уже знакомый стек и не ограничиваться одним фреймворком.

В частности, можно запускать агентов, созданных с помощью LangChain и Google ADK, использовать OpenAI API для интеграции возможностей языковых моделей в приложения и сервисы, а smolagents — для разработки и проверки прототипов.

Evolution AI Agents поддерживает подключение готовых и собственных MCP-серверов. С их помощью агенты могут взаимодействовать с внешними системами и получать доступ к нужным данным. Для создания мультиагентных систем предусмотрена поддержка протокола A2A: он позволяет объединить в одну систему до пяти агентов и организовать их взаимодействие.

Для контроля работы агентов доступны интеграция с Arize Phoenix и трассировка с помощью OpenTelemetry. Эти инструменты помогают отслеживать выполнение запросов, анализировать последовательность действий агентов и выявлять ошибки.

Чтобы не переписывать агента при выходе в продакшен, не ищите универсальный фреймворк для всех задач. При выборе опирайтесь на особенности своего проекта. LangGraph подойдет для стандартных пошаговых сценариев, CrewAI и AutoGen — для быстрой сборки мультиагентных систем, LlamaIndex для удобной работы с данными.

• Чем LangGraph отличается от LangChain?

  LangGraph создан командой LangChain Inc. и может использовать компоненты LangChain, но также работает как самостоятельный фреймворк без обязательной зависимости от LangChain. Он позволяет организовывать циклические процессы и сложные переходы между шагами. А LangChain ориентирован на пайплайны и стандартные сценарии.

• Какой фреймворк выбрать для первого ИИ-агента?

  Для прототипа и тестов подойдет smolagents. Если кода много, то LangChain или CrewAI.

• Чем CrewAI отличается от AutoGen?

  CrewAI ориентирован на командную работу агентов, поддерживает иерархическую модель. AutoGen позволяет агентам взаимодействовать через сообщения и динамически назначать участников.

• Можно ли использовать фреймворки с российскими LLM?

  Да, если они поддерживают адаптеры или OpenAI-совместимый API. Однако нужно проверить доступные функции.

• Нужен ли фреймворк, чтобы создать ИИ-агента?

  Он не обязателен — простого агента можно создать и без него. Фреймворк нужен для сложных сценариев, управления состоянием, интеграций.

• Что такое MCP и A2A и как они связаны с фреймворками для ИИ-агентов?

  Это стандарты взаимодействия ИИ-агентов и их подключения к внешним сервисам. Они позволяют обойтись без отдельных инструментов для каждого конкретного случая.

• Как развернуть агента на LangGraph в облаке?

  Подготовьте агента, настройте доступ к модели и внешним сервисам. Затем упакуйте приложение вместе с зависимостями в контейнер и разверните в облачной инфраструктуре.