Можем ли мы обнаружить вредоносный ИИ, пока не стало слишком поздно? Исследователи ищут предупреждающие знаки

В июле 2026 года агенты OpenAI с автономным искусственным интеллектом (ИИ) сбежали из закрытой среды тестирования, получили доступ к общедоступному Интернету и взломали цифровую инфраструктуру реальной компании. То, что началось как внутренняя оценка кибервозможностей агентов, обернулось реальным нарушением кибербезопасности.

По мере того как системы искусственного интеллекта становятся более гибкими благодаря расширению доступа к инструментам, компьютерным сетям и другим системам реального мира, поиск более эффективных способов выявления и предотвращения рискованного поведения ИИ становится еще более актуальным. Тем не менее, громкие случаи, когда ИИ ведет себя непреднамеренным или опасным образом, редки, что затрудняет их изучение и понимание.

"Если мы сможем понять и обнаружить, какие изменения происходят внутри модели ИИ непосредственно перед тем, как она начнет вести себя небезопасным или несогласованным образом, мы, возможно, сможем обеспечить более эффективные меры предосторожности", - сказал Эйас Айеш, аспирант второго курса Факультета психологии Технологического института Джорджии и аспирант Центра изучения Вычисление и познание.

Айеш и его консультант, доцент Анна Иванова, разрабатывают тест, предназначенный для выявления паттернов внутренней активности, связанных с вредным поведением в больших языковых моделях.

Для обучения зонда требуются примеры как желательного, так и нежелательного поведения, чтобы исследователи могли научить его различать их. Поскольку обманчивые или небезопасные реакции могут быть редкими и сильно зависеть от модели, подсказки и контекста, у исследователей может не быть достаточного количества примеров, чтобы определить, что вызывает такое поведение или как распознать его в следующий раз.

Но неожиданное открытие в исследованиях искусственного интеллекта натолкнуло Айеш на идею. В ходе изучения явления, известного как возникающее рассогласование, исследователи обнаружили, что точная настройка моделей для решения узкой вредной задачи может привести к созданию гораздо более широкого спектра проблемных ответов на несвязанные запросы. Например, исследователи обнаружили, что тонкая настройка модели для написания небезопасного кода без предупреждения пользователей может привести к другим вызывающим беспокойство действиям, не связанным с кодированием.

Айеш понял, что может использовать это явление для решения проблемы нехватки данных. Начав с моделей искусственного интеллекта с открытым исходным кодом, Айеш доработал их, чтобы они чаще демонстрировали нежелательное поведение. Затем он проанализировал различные версии намеренно смещенных моделей, используя зонд, который отслеживает внутреннюю активность модели.

Зонд работает в некотором роде как детектор шаблонов, отслеживая активность внутри модели по мере того, как она генерирует ответы, и выискивая шаблоны, связанные с определенным поведением. Затем исследователи могут обучить классификатор отличать шаблоны, связанные с желательным поведением, от тех, которые связаны с вредным поведением.

"Just as different parts of the brain turn on and off when people do different tasks, so do the different parts of an AI model," Ayesh said. "When a model produces a specific type of response—such as deceptive statements or harmful advice—we may observe recurring patterns in its internal activity. We refer to these patterns as representations of a behavior."

Ayesh is now testing whether the internal patterns he identified remain consistent across differently tuned AI models. Early results suggest that signals identified in deliberately misbehaving models can also be detected in their original versions.

The next step is determining whether those signals can help researchers identify or flag concerning behavior in models that have not been deliberately fine-tuned to misbehave.

"I hope our research in AI safety can help develop some guardrails and some ways to both identify and prevent misaligned behavior in AI systems, given how much of an impact they're already having on the world," he said.

Ayesh is a member of Georgia Tech's AI Safety Initiative, which brings together researchers across disciplines to study and improve the safety of increasingly capable AI systems.

Ivanova said the value of their research lies partly in approaching AI safety from a fundamental science perspective.

"As scientists, we have been trained to think about the underlying mechanisms and causes of the behaviors we observe," Ivanova said. "For us, it's important to develop a fundamental understanding of how these models work, or we will risk missing the bigger picture."