ЦТиП на GoCloud Tech: как выбрать инфраструктуру для ИИ-проекта

Главный эксперт направления искусственного интеллекта ЦТиП Максим Кузнецов выступил на конференции GoCloud Tech в сессии "От API до суперкомпьютера: как выбрать инфраструктуру для ИИ-проекта".

Дискуссия объединила представителей крупных компаний, которые обсудили выбор инфраструктуры для запуска и развития ИИ-сервисов. Особое внимание уделили потребностям малого и среднего бизнеса, где важно соотнести возможности технологий с ограниченным бюджетом и ресурсами команды.

Максим Кузнецов сделал акцент на экономике ИИ-проектов и предложил оценивать инфраструктуру через стоимость успешно решённой бизнес-задачи. Такой подход помогает связать технические решения с практической пользой для компании.

Ещё один акцент выступления: возможность развивать архитектуру вместе с продуктом. Уже на старте важно учитывать, как будут меняться требования к производительности, работе с данными и доступности сервиса, а также предусмотреть возможность подключения других моделей.

В ходе сессии участники также обсудили:

• Когда достаточно API и при каких условиях оправданы облачные GPU или собственная инфраструктура.
• Как меняется экономика проекта при переходе от первых экспериментов к промышленной эксплуатации.
• Какие задачи решает LLM-proxy и как работать с ограничениями API.
• С какими сложностями сталкиваются команды при эксплуатации локальных моделей.

Ключевая идея дискуссии: универсального способа запуска LLM не существует. Оптимальный выбор определяется задачей, стадией развития проекта, требованиями к качеству и масштабом нагрузки.