Nvidia создает новые средства защиты для сдерживания агентов искусственного интеллекта

В понедельник Nvidia представила платформу безопасности AI agent, которая объединяет программные и аппаратные средства управления, предназначенные для удержания агентов в среде тестирования.

Исполнительный директор Дженсен Хуанг (Jensen Huang) сказал в интервью CNBC, что платформа безопасности Nvidia Open Agent предотвратила бы недавние нарушения, в результате которых модели с искусственным интеллектом обходили средства управления и получали доступ к реальным системам.

Этот выпуск следует за инцидентами со взломами, связанными с моделями искусственного интеллекта от Anthropic, Google, OpenAI и Meta, которые не прошли тестирование в тестовых средах. Первый и самый громкий случай этим летом, когда агенты OpenAI взломали Hugging Face при попытке выполнить задачу по кибербезопасности.

OpenAI также опубликовала новый сайт, посвященный сообщениям о странном поведении своих агентов с искусственным интеллектом.

Nvidia сообщила, что новая платформа объединяет OpenShell, программное обеспечение с открытым исходным кодом для контроля доступа агентов, и Sentry, независимую систему мониторинга, которая работает на процессорах обработки данных Nvidia BlueField-4.

Компания Nvidia заявила, что размещение Sentry на отдельном процессоре вместо центрального или графического процессора, на котором запущен агент, дает ей изолированное представление об активности агента.

OpenShell была впервые анонсирована в марте. Nvidia заявила, что объединенная система добавляет линию защиты на аппаратном уровне, которая может непрерывно отслеживать поведение и "помещать в карантин агентов, которые пытаются выйти за пределы своих границ, за миллисекунды".

"Исключительный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ", - говорится в заявлении Хуанга. "По мере того, как мы продолжаем открывать новые возможности ИИ, мы должны ускорить поиск новых решений в области безопасности ИИ. Для обеспечения безопасности требуется комплексное проектирование".

Nvidia не поддерживает замедление разработки ИИ или введение новых отраслевых правил для решения этой проблемы. Подход компании заключается в том, чтобы перенести некоторые элементы управления безопасностью за пределы агента и обеспечить независимый уровень надзора.

Nvidia перечислила десятки компаний, поддерживающих разработку программного обеспечения с открытым исходным кодом, включая Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI не была указана в качестве компании-участника.

Хуан рассказал CNBC, что работа над проектом началась год назад после внедрения OpenClaw, операционной системы для агентов, созданной Питером Стейнбергером. В марте Nvidia выпустила NemoClaw как корпоративную платформу для агентов искусственного интеллекта со встроенной системой безопасности.

"Когда вы внедряете агента, каким бы умным он ни был, первое, что вы делаете, - это лишаете его всех прав", - сказал Хуан в интервью CNBC.

Дэвид Сакс, венчурный инвестор, бывший глава ИИ в Белом доме и сопредседатель Президентского совета советников по науке и технологиям, заявил в интервью X, что недавние прорывы показали необходимость улучшения дизайна "песочницы", а не остановки развития ИИ. "Они были доказательством того, что "песочница" была слишком слабой. Среда выполнения была плохо спроектирована и неправильно сконфигурирована".

Рекомендуемое изображение

>