Anthropic и OpenAI бьют тревогу по поводу безопасности искусственного интеллекта и стремятся определить, как им управлять

Когда технологические гиганты предупредили мир, уставший от ИИ, что их собственные передовые системы могут угрожать человечеству, возник вопрос: что они могут получить?

Ответ может заключаться в попытках компаний достичь политических целей в преддверии промежуточных выборов в США, а также в деньгах, которые ведущие лаборатории искусственного интеллекта и их инвесторы могут заработать на долгожданных листингах на неустойчивом фондовом рынке.

Руководители Anthropic и OpenAI недавно заявили, что передовые американские модели настолько мощны, что представляют опасность и нуждаются в регулировании и независимом тестировании перед выпуском. Проявив редкий пример единства, они набросали тревожные сценарии в эссе, публикациях в социальных сетях и выступлениях в Организации Объединенных Наций.

Попутно они формируют дискуссию о том, как следует контролировать их технологии. Своей риторикой компании, похоже, добиваются общественного расположения и устанавливают условия для своих собственных протоколов безопасности на нерегулируемом рынке, сообщили Associated Press эксперты, аналитики и бывшие правительственные оценщики.

Эти цели могут не совсем совпадать с тем, к чему стремился инженер-антрополог Джейкоб Коксон, когда в этом месяце он уволился из компании, опубликовав в журнале X пост, в котором призвал приостановить разработку технологий, чтобы не дать "сверхчеловеческим" системам ускользнуть от контроля их создателей. Но компании восприняли его пост как возможность подчеркнуть свои собственные усилия по обеспечению безопасности и позиционировать себя как осторожных лидеров рынка, как раз в тот момент, когда им нужен свежий капитал, прежде чем выходить на биржу Уолл-стрит.

Президент Дональд Трамп избегает необходимости введения новых правил в отношении ИИ, называя разговоры о рисках для человечества "мистификацией", призванной помочь Китаю.

Представитель Anthropic в ответ на вопросы для этой статьи сказал, что компания уже несколько лет призывает к регулированию. Представитель OpenAI Лиз Буржуа отметила, что компания недавно приостановила обучение своих самых продвинутых моделей.

"Люди хотят знать, что ИИ разрабатывается безопасно, и это начинается с того, что такие компании, как наша, делают сами", - сказала Буржуа.

По словам Сары Шокер, которая ранее возглавляла команду OpenAI по геополитике, если перевести разговор на недоказанные угрозы и отойти от таких противоречивых вопросов, как воздействие центров обработки данных на окружающую среду, неконтролируемые хакерские атаки, массовая слежка с использованием искусственного интеллекта и использование систем искусственного интеллекта в военных действиях, Кремниевая долина окажется в более выгодном положении.

"Once again we're talking about existential risk, while deprioritizing a number of other safety-critical risks that exist today. If you look at the use of AI in military tech, you can see that these systems are already used to kill people," said Shoker, a senior non-resident fellow at University of California, Berkeley Risk & Security Lab.

As AI companies have gone from building chatbots to advanced AI " world models " with 3D awareness, debate has raged over how their technologies should be tested.

Problematic incidents have shown leading AI companies failing to police themselves or design safe experiments. In recent months, leading labs' AI agents have hacked into external websites after being allowed to escape company training sandboxes, interacted with U.S. government websites in unexpected ways, and appeared to achieve a mathematical breakthrough only to face accusations of stealing mathematicians' work.

OpenAI representatives told reporters recently that they have talked with AI companies including Anthropic and Google about pausing development. They also argue they need independent auditors to check the labs' progress, if the government won't regulate.

Trump has shown little interest in regulating AI, which has been a major driver of recent U.S. economic growth.

The Republican president himself has struck deals with Silicon Valley firms that more closely tie the economy to their successes. San Francisco venture capitalist David Sacks, who co-chairs Trump's Council of Advisors on Science and Technology, has dismissed calls for an AI slowdown as fearmongering from the "Doomer Industrial Complex."

The reality is the Trump administration already evaluates some of the tech giants' models through a little-known federal agency, the U.S. Center for AI Standards and Innovation. Democratic President Joe Biden created the agency in 2023, when it was heralded as a clearinghouse for labs to voluntarily submit advanced AI models for testing.

The agency still exists, but the field has since expanded to include an array of independent evaluation firms, such as Berkeley, California-based nonprofit METR, which Anthropic CEO Dario Amodei suggested in a recent essay could help vet his company's safety practices.

But unlike regulated sectors like restaurants, financial services or aviation, there are no universal standards for how to test the safety and security of AI systems, said Andrew Strait, who recently left the United Kingdom's AI Security Institute, which worked with CAISI.

Notably, the companies aren't calling for more oversight from the government agency equipped to handle such requests, said Conrad Stosz, who previously led CAISI. Instead, they're vowing to create their own auditing parameters and choose particular evaluators to grade them.

Stosz now works at one such evaluation lab that has worked with Anthropic, OpenAI and Google to test their systems, and also chairs the AI Evaluator Forum, which is drafting best practices for the field. He said even the forum has questions about what Amodei and OpenAI CEO Sam Altman want.

"Lots of evaluators are interested in embedding with labs and getting greater access, but it's a little ambiguous what embedded evaluators means," said Stosz, now head of governance at Transluce, which revealed last week that OpenAI agents hacked U.S. and Australian government websites. "Will evaluators be able to thoroughly investigate, assuming that access is granted in a way that does not undermine their independence and credibility?"

For Harrison Rolfes, a PitchBook senior research analyst, AI companies' calls for caution seem meant to curry favor with investors ahead of public offerings and the midterms, when the political winds could shift. Democratic governors already are rushing to show they're taking the warnings seriously.

Meanwhile, the AI giants can block smaller competitors' growth by positioning themselves as the safest bet for investors, as well as for AI chipmakers and tech companies such as Nvidia and Google, which in turn can benefit from deals that provide the giant AI companies compute power, Rolfes said.

"They're creating a wall or a moat within this sector. … It's genius and they're all going to make a lot of money," Rolfes said. "That's where I see this heading, having the top companies in the world just creating their own wall, and then using the safety as the reason."

Not all AI companies endorse a slowdown. Chipmaker Nvidia's CEO Jensen Huang said in a phone conversation with Trump—a call he took onstage at a conference—that he agrees there has been excessive AI alarmism and companies can choose to pace themselves.

Daniel Kokotajlo, who left OpenAI in 2024 over concerns similar to Coxon's, said he continues to worry that AI systems are advancing faster than companies can control, and fears existential scenarios such as AI's potential to supercharge the creation of bioweapons, nuclear war or other catastrophes.

"All of this talk is actually a way to sort of dissipate and redirect this political will that has built up, rather than actually channeling that political will to do something good," said Kokotajlo, who now leads an AI safety advocacy organization and said he counseled Coxon before he resigned. "Just please don't do the thing that's going to get us all killed."

© 2026 The Associated Press. All rights reserved. This material may not be published, broadcast, rewritten or redistributed without permission.