Три новых метода нацелены на работу со скрытыми бэкдорами искусственного интеллекта без серьезных потерь производительности

Исследователи продемонстрировали три новых метода предотвращения так называемых "бэкдор-атак", которые вызывают вредоносное или нежелательное поведение моделей искусственного интеллекта. Исследователи также предложили концепцию, которая позволит перепрофилировать методы бэкдор-атак для создания дополнительного уровня безопасности для пользователей.

Бэкдор—атаки относятся к случаям, когда кто—то тайно внедряет "триггер" в модель искусственного интеллекта, который при активации заставляет модель выполнять определенные действия.

"Важным моментом является то, что модель может нормально работать, когда триггер отсутствует, что затрудняет обнаружение бэкдора при обычном использовании или тестировании", - говорит Чжун Юн Ким, автор четырех статей, описывающих эту работу, и доцент кафедры компьютерных наук в Университете штата Северная Каролина. "Но когда триггер активирован, это может привести к тому, что модель начнет выполнять действия, которые намеревался выполнить злоумышленник, например, генерировать нежелательный текст и выполнять вредоносные команды.

"Учитывая, что модели искусственного интеллекта используются для всего, от финансовых транзакций до разработки программного обеспечения, способность контролировать поведение ИИ представляет собой значительную уязвимость", - говорит Ким.

Поскольку модели ИИ становятся все более распространенными и используются во все большем количестве приложений, возникает все большая потребность в "тонкой настройке" моделей для эффективного выполнения этих новых задач. Тонкая настройка подразумевает дополнительное обучение моделей ИИ, которое предполагает использование дополнительных наборов данных. Это создает новые возможности для бэкдор-атак, которые могут быть адаптированы к конкретным функциям, для выполнения которых в настоящее время настраивается модель.

"Это хорошо известная уязвимость, но бэкдор-атаки трудно предотвратить, потому что их трудно идентифицировать, пока не активирован триггер", - говорит Цзяньвэй Ли, первый автор всех четырех статей и аспирант университета Северной Каролины. "Наша цель в этой работе состояла в том, чтобы предотвратить бэкдор-атаки до развертывания, чтобы сделать ИИ более безопасным и заслуживающим доверия".

Чтобы решить проблемы, связанные с бэкдорами, исследователи рассмотрели три различных уровня моделей ИИ: функции, архитектуру и весовые коэффициенты.

"Веса - это параметры, из которых состоит модель", - говорит Ли. "Функциональные возможности - это внутренние представления данных в модели. А архитектура относится к внутренним операционным компонентам модели.

"Все это важные элементы модели искусственного интеллекта, и мы разработали методы, которые изменяют все три уровня для устранения или смягчения бэкдорных атак без существенного снижения производительности", - говорит Ли.

The researchers also propose the use of "secret alignment," using triggers like those used in backdoor attacks to perform specific beneficial tasks. For example, a trigger could be installed that would be known only to management-level users, giving them restricted access to secure data or control functions.

"Overall, we've introduced a comprehensive suite of techniques that reduces the threat of backdoor attacks, all of which could be implemented immediately," says Kim. "And we've also outlined an approach for repurposing backdoor triggers into useful features."

The paper focusing on AI model features, "Backdoor Purification for LoRA-Tuned LLMs via Null-Space Projection," will be presented at the Fortieth Annual Conference on Neural Information Processing Systems (NeurIPS), being held in December in Sydney (Australia), Atlanta (U.S.) and Paris (France). The paper focusing on AI model architecture, "Backdoor Containment via Expert Quarantine and Shutdown in LLMs," will also be presented at NeurIPS and was co-authored by NC State Ph.D. student Min-Seon Kim.

The paper focusing on AI model weights, "Purifying Generative LLMs from Backdoors without Prior Knowledge or Clean Reference," was presented at the Fourteenth International Conference on Learning Representations (ICLR), held April 23–27 in Rio de Janeiro, Brazil. The paper proposing the concept of "secret alignment," "Position: Retire the 'Positive Backdoor' Label—Secret Alignment Requires Strict and Systematic Evaluation," was presented at the Forty-Third International Conference on Machine Learning (ICML), held July 6–11 in Seoul, South Korea. The research is available for preprint on arXiv.