ИИ не удается надежно обнаружить ИИ в обратных тестах Тьюринга

Знаменитый "тест Тьюринга" в области компьютерных наук взят из статьи 1950 года, написанной британским ученым-компьютерщиком (и героем войны) Аланом Тьюрингом. Существует множество вариантов, но, пожалуй, самый распространенный предполагает, что человек задает вопросы "кому-то" за экраном. Тест заключается в следующем: Может ли человек последовательно определить, является ли отвечающий человеком или машиной?

В новой статье эта ситуация меняется на противоположную и ставится вопрос: Может ли большая языковая модель (LLM) задавать вопросы, которые показывают, является ли скрытый респондент человеком или другим LLM? Работа четырех французских ученых из подразделения искусственного интеллекта PITOR в Университете Париж-Сите опубликована в журнале Computers in Human Behavior Reports.

Тьюринг начал свою статью с мысленного эксперимента, написав: "Я предлагаю рассмотреть вопрос "Могут ли машины мыслить?". Он сразу же написал, что не хочет увязать в значении таких слов, как "машина" и особенно "мышление", которое может сводиться к мнениям. Поэтому он выбрал оперативный подход.

Тьюринг описал игру с участием трех человек, которую он назвал "имитационной игрой". Он представил себе мужчину, женщину и следователя. Не видя и не слыша голоса, следователь должен был определить правильный пол двух других игроков. Он или она могут задавать вопросы типа "Не скажет ли X, пожалуйста, какой длины у него или у нее волосы?" где X - это мужчина или женщина. Затем Тьюринг спросил, можно ли представить, что цифровые компьютеры могли бы успешно заменить человека в игре-имитации.

Тьюринг продолжил аргументировать возражения против идеи о том, что машины могут мыслить, и ближе к концу своей статьи написал: "Мы можем надеяться, что машины в конечном итоге будут конкурировать с людьми во всех чисто интеллектуальных областях".

С тех пор было задано много вопросов о нюансах теста Тьюринга, и исследования на эту тему продолжаются по сей день. Возможно, в самом простом варианте теста человек-оценщик обменивается текстовыми сообщениями как с человеком, так и с машиной. Оценщик пытается определить, кто из них человек, а кто машина.

В 2026 году Кэмерон Р. Джонс и Бенджамин К. В Бергене был проведен первый масштабный онлайн-тест Тьюринга. Они обнаружили, что магистранты, прошедшие стандартный трехсторонний тест Тьюринга с соответствующими запросами, оказались похожими на людей при непосредственном сравнении с реальными людьми. Три основных ИИ (на дату их публикации) достигли показателя проходимости (того, что они выглядели как люди) примерно в 50% случаев, в то время как участники-люди были идентифицированы как люди только в 66% случаев.

The interrogators' decisions relied more on linguistic style and socioemotional factors than on reasoning ability. This supports the position that the Turing test measures naturalism in communication rather than intelligence per se.

In the new paper, to perform two-person interactive reverse Turing tests, lead author Marc Raynaud and his co-authors used seven LLMs to serve as evaluators: ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro, Mistral Large 2.1, Grok 3, DeepSeek V3 and Llama 4 Maverick. These AI systems questioned a hidden interlocutor (human or LLM) and had to decide whether they were human or artificial.

The seven models posed up to 10 questions to the hidden participants, who were either humans or other LLMs. There were 20 human volunteers and seven AI systems.

The participating AI systems received either minimal instructions to conceal their behavior or a structured prompt that prescribed that replies should adopt a believable persona, give concise responses, exhibit occasional imperfections (such as typos) and follow natural conversational patterns.

Each LLM evaluator could ask up to 10 questions of the participant before providing a classification (human or AI), a confidence score and an explanation. A total of 238 tests were conducted involving 1,714 questions.

In 49 tests of minimally prompted AI participants, AI evaluators identified the AI participants as AI in only three tests. When prompted with structured prompts, and again with 49 tests, none of the AI participants were correctly classified. In contrast, 123 of 140 tests involving human participants—88%—were correctly classified by AI evaluators.

"AI participants were judged as more human than humans," the researchers write. The mean chance of being judged human was 88% in AI participants versus 78% in humans. The AI evaluators could not meaningfully distinguish between human participant responses and AI participant responses.

"In conclusion," the researchers write, "current AI-based conversational screening appears insufficient for ensuring authenticity in dialogue."

Each LLM evaluator showed distinct themes in its questioning strategy, ranging from ChatGPT 4.5's broad and balanced profile showing strong emphasis on socioemotional factors (emotions, memory, behaviors, desires and social relationships) in 55% of its occurrences to Claude 3.7 Sonnet with the strongest emphasis on mind and reasoning. Mistral Large 2.1, an LLM developed by the French company Mistral AI, displayed the most "atypical" pattern, with hobbies comprising 18% of its topic occurrences.

Responses varied too. Minimally prompted AI participants averaged 170 words per answer, while AI participants prompted with more information averaged only 39 words per answer, about the same as the human average of 38.

The authors conclude that one important factor was that the AI participants followed their detailed prompts more reliably than humans acted as, well, humans. Even minimally prompted AI participants "already possess a strong baseline capacity to act as humans."

© 2026 Science X Network