"Лаборатория Касперского" выпустила руководство по безопасности ИИ-агентов через призму кибериммунитета
В документе рассказывается про основные риски, а также способы их снизить
"Лаборатория Касперского" представила руководство "Безопасность ИИ-агентов через призму кибериммунитета" на сессии "ИИ-агенты под контролем: как управлять рисками и строить доверенную инфраструктуру" в рамках форума "Цифровые решения". В документе показано, с какими рисками сопряжено использование ИИ-агентов и как их можно снизить с помощью принципов кибериммунитета. В первую очередь руководство предназначено для директоров по информационной безопаcности и информационным технологиям, ИТ-руководителей, архитекторов и разработчиков.
ИИ-агенты — системы на базе больших языковых моделей (LLM), способные самостоятельно взаимодействовать с файлами, базами данных, почтой и другими системами, — стремительно проникают в корпоративные процессы: разработку ПО, поддержку клиентов, работу с базами знаний, аналитику, ИТ/ИБ и бизнес-процессы. При этом внедрение часто идёт "снизу вверх", в обход руководителей, порождая теневой ИИ — неподконтрольную инфраструктуру с неизвестным уровнем безопасности.
Риски ИИ-агентов. Существуют четыре основных риска, которые могут повлиять на безопасность ИИ-агентов. Первый связан с недоверенным когнитивным ядром: большие языковые модели, лежащие в основе агентов, являются вероятностными и могут ошибаться. Второй специалисты называют "фатальной триадой": это сочетание доступа к конфиденциальным данным, обработки недоверенного ввода и возможности взаимодействовать с внешними системами. Третий риск — избыточные полномочия, когда агент получает больше прав, чем ему действительно нужно для работы. Наконец, четвёртый — непрозрачность действий агента: человеку бывает сложно понять, почему система приняла то или иное решение, и вовремя заметить ошибку. Эти риски уже подтверждаются реальными инцидентами, проанализированными в документе, — в том числе случаями, когда ИИ-агенты случайно удаляли данные или совершали другие нежелательные действия. Поэтому их важно учитывать ещё на этапе разработки и внедрения таких систем.
Кибериммунитет как основа безопасности ИИ-агентов. Для моделирования защиты ИИ-агентов в документе предлагается эффективный инструмент — кибериммунный подход. Это концепция "Лаборатории Касперского" по построению безопасных по умолчанию систем. В её основе лежит постановка во главу угла не конкретных мер, а целей и допущений безопасности, которые фиксируются на этапе проектирования системы и определяют её архитектуру.
Практические рекомендации. В руководстве содержатся рекомендации по построению безопасных агентных архитектур для руководителей, отвечающих за ИТ и ИБ. Отдельно о практике безопасного внедрения ИИ-агентов можно прочитать в статье "Безопасное внедрение облачных ИИ-агентов в процессы разработки: опыт Лаборатории Касперского". В ней эксперты компании рассказывают, как использовать облачных ИИ-агентов в процессах разработки ПО с учётом всех вышеперечисленных рисков.
"ИИ-агенты представляют собой привлекательную цель для злоумышленников: они, как правило, исполняются с теми же правами, что и другое ПО на устройстве разработчика, а значит, получают те же доступы к ценным активам. Риски растут с каждой ступенью агентности — от LLM без инструментов до автономных и мультиагентных систем, а реальные инциденты и случаи ненамеренного удаления данных агентами подтверждают практическую значимость этих рисков, — комментирует Антон Иванов, технический директор „Лаборатории Касперского". — Безопасность агента определяется на этапе проектирования, и основная задача здесь — поиск баланса между защитой и эффективностью. Любой агент должен работать в режиме наименьших привилегий, а все критические операции — проходить через человеческое подтверждение и проверку контекста. Чем сложнее задачи, которые делегируются ИИ, тем строже должны быть контроль, изоляция и аудит".
Полная версия руководства "Безопасность ИИ-агентов через призму кибериммунитета" доступна на сайте компании.