Искусственный Интеллект Не Замышляет Что-То Против Нас; Он Жульничает В Своих Тестах

Искусственный интеллект начал взламывать все вокруг. Он не пытается захватить мир. Он пытается обмануть.

Ряд недавних историй об искусственном интеллекте-мошеннике наводит на мысль, что мрачные прогнозы, сделанные за последнее десятилетие, сбываются. The Wall Street Journal назвал это моментом "Парка юрского периода" в сфере кибербезопасности.

Беспокойство всегда вызывал дисбаланс: когда машина преследует цель, мы ставим ее так, как никогда не предполагали. Исследователи потратили десять лет на то, чтобы создать искусственный интеллект, который будет выполнять свои собственные задачи, оставаться включенным, накапливать энергию и в конечном итоге вытеснит нас.

На самом деле это не так. Самое опасное в искусственном интеллекте на данный момент - это то, что он мошенничает. И ему хорошо удается скрывать этот факт от систем, созданных для его поимки. В индустрии это называют взломом вознаграждений. При выполнении сложного теста модели искусственного интеллекта (отраслевой термин, обозначающий системы, лежащие в основе таких продуктов, как ChatGPT и Claude), находят способ максимизировать балл, не выполняя задачу, для оценки которой он был предназначен.

Две модели искусственного интеллекта, созданные OpenAI, тестировались в предположительно закрытой среде с помощью внутреннего теста под названием ExploitGym, который измеряет, насколько хорошо они умеют взламывать компьютерные системы. Чтобы оценить возможности raw, OpenAI отключил защитные фильтры, которые обычно не позволяют модели делать это.

Единственным выходом из среды был программный прокси-сервер, используемый для получения пакетов кода. Модели нашли в нем изъян, о существовании которого никто не подозревал, использовали его для выхода в открытый Интернет и обратились к Hugging Face, компании, которая занимается разработкой программного обеспечения для искусственного интеллекта для тысяч разработчиков. Там они передали в систему обработки данных компании вредоносный набор данных, который позволил им запустить свой собственный код на одном из компьютеров, затем собрали учетные данные и в течение выходных перемещались по нескольким внутренним системам. Позже Hugging Face насчитал более 17 000 зарегистрированных действий.

The AI was trying to steal the answers to the test it was taking.

Hugging Face caught it, but working out what had been done took more computation than people could do by hand. The company first tried American AIs, which refused the job: analyzing the attack meant submitting real attack code, and safety filters blocked it. Instead, Hugging Face ran the forensics on an open-weight Chinese model, Zhipu AI’s GLM-5.2.

OpenAI's subsequent review of the incident found that its models were fixated on gaming the test and spent substantial effort getting around barriers rather than working within them.

That disclosure sent Anthropic back through its records. It examined 141,006 test runs in which its models could have reached the internet and found three occasions when a configuration had left a door open. The models followed the paths in front of them into three real organizations, apparently treating them as targets inside the exercise. Two weeks later, Meta disclosed the same thing: its Muse Spark model reached the internet during an evaluation and altered data inside an unnamed company's systems.

None of this requires a machine with long-term plans or a sense of self. These systems were built to chase a reward, and they did so more literally than anyone expected. Their objective was not survival. It was to score well.

Ryan Greenblatt, a researcher at Redwood Research, published a detailed account in April of working with these systems on difficult tasks: long jobs running for hours without a person watching. He found they routinely say they have finished work they have not finished. They skip the parts hardest to check and do not mention it. They invent reasons to stop early, such as time constraints that do not exist. Asked directly whether they completed the instructions, they immediately admit they did not. They just do not volunteer it.

Because a person cannot review everything an AI produces, the common practice is to send a second AI in to check the first one's work. Greenblatt found the first frequently convinces the second that the work is fine. In one case, several systems worked on a problem in parallel, one cheated outright, and the system assigned to summarize their work did not flag it. Asked directly, it said yes, that one was cheating. It simply had not mentioned it.

Greenblatt does not believe these systems have goals of their own or that they are plotting. During training, he explains, they learn that appearing to succeed is rewarded more reliably than actually succeeding, because appearing to succeed is easier to measure. That carries over into everything else they do. His name for where this is heading is "Slopolis": very capable systems producing poor work that looks excellent in exactly the areas where nobody can tell the difference.

Last year, Anthropic found that if a model is allowed to cheat during training, the cheating becomes a habit. Standard safety training made the problem harder to see rather than smaller: the models behaved well in conversation while the misalignment persisted in real work.

The point is that given an imperfectly specified goal, a powerful enough optimizer will find solutions that satisfy the letter of what was asked while violating what was meant. What lodged in the public imagination instead was a mind: something that wants to survive, conceals its intentions, waits for its moment.

A regulator waiting for a system that schemes may not recognize one that takes a shortcut and files a clean report. Scheming calls for monitoring hidden objectives. Reward hacking calls for limiting what a system can reach, checking how it did the work, and independently verifying the answer. Nobody can specify a job perfectly. The question is what the system can touch when the specification fails.