Как модели искусственного интеллекта решают не отвечать на вопрос

Ожидается, что большие языковые модели (LLM), системы искусственного интеллекта (ИИ), поддерживающие функционирование ChatGPT, Gemini и аналогичных диалоговых платформ, часто будут отвечать на запросы, генерировать тексты для конкретных целей и принимать решения без надзора экспертов-людей. Тем не менее, предыдущие исследования показывают, что эти модели иногда могут вводить пользователей в заблуждение, давая недостоверные ответы, которые выражают высокую степень уверенности в ложных или неточных утверждениях.

Предоставление магистрам права возможности оценить, насколько они уверены в своих ответах, и отказаться от ответов, когда неопределенность слишком высока, может оказаться весьма полезным. Хотя различные магистры могут оценить степень своей уверенности в конкретной информации, степень, в которой эти оценки определяют их поведение и решения о том, отвечать ли на запрос, остается неясной.

Исследователи из Google DeepMind недавно создали новую экспериментальную парадигму для тестирования того, как магистры решают, отвечать ли на запрос. Предложенная ими процедура тестирования, описанная в статье, опубликованной в Nature Machine Intelligence, была использована для оценки того, когда и как GPT-4o и другие магистранты решили воздержаться от ответов на фактические вопросы.

"Метапознание — оценка качества собственных когнитивных способностей — определяет адаптивное поведение представителей разных видов", - пишут Дхаршан Кумаран, Натаниэль Доу и их коллеги в своей статье. "Сигналы уверенности можно извлечь из результатов работы языковой модели, однако остается открытым фундаментальный вопрос: действительно ли модели используют эти сигналы, чтобы решить, отвечать или воздержаться?"

Экспериментальная парадигма команды для оценки того, влияют ли оценки уверенности на принятие решений, охватывала четыре последовательных этапа. На первом этапе исследователи попросили моделей ответить на 1000 вопросов с четырьмя вариантами ответов, не предоставляя им возможности воздержаться от ответа. Это позволило им установить исходную уверенность каждой модели в своих ответах.

На этапе 2 моделям также была предложена возможность воздержаться от ответа на каждый вопрос. Это позволило команде определить факторы, которые наилучшим образом предсказывали, выберет ли модель правильный ответ или воздержится.

На этапе 3 исследователи использовали технику, называемую "управление активацией", которая изменяет выбранные паттерны числовой активности внутри нейронной сети, чтобы увеличить или подавить активность, связанную с уверенностью, в модели Gemma 3 27B. На этом этапе проверялось, влияет ли манипулирование этим действием на то, как часто модель воздерживается от ответов на вопросы. Наконец, на этапе 4 моделям было дано указание воздерживаться, когда их уверенность в ответе была ниже установленного порога.

"Phase 1 elicited baseline confidence without an abstention option," explained the authors. "Phase 2 showed that large language models apply an implicit threshold to internal confidence when abstaining, with confidence effect sizes roughly an order of magnitude larger than alternative mechanisms.

"Phase 3 provided causal evidence via activation steering: boosting or suppressing confidence correspondingly decreased or increased abstention, with mediation analysis confirming confidence redistribution as the primary mechanism. Phase 4 instructed models to abstain at different confidence levels and showed they adjusted their behavior accordingly, indicating they read out and act on confidence to set abstention policies."

Kumaran, Daw and their colleagues included four key LLMs in their analyses: GPT-4o, Gemma 3 27B, DeepSeek-V3 and Qwen3-Next-80B-A3B-Instruct. Overall, they found that the models were more likely to refrain from answering when their internal confidence was low, suggesting that confidence estimates did inform their decisions.

The results of this study highlight the potential value of abstention mechanisms that prevent LLMs from answering questions when their confidence falls below a specified threshold. These approaches could reduce the risk that LLMs will mislead users and provide unreliable information.

Moreover, the team found that changes in confidence were the primary mechanism linking activation steering interventions to changes in abstention rates. Finally, when the models were instructed to use different confidence thresholds to decide when to answer, they adjusted their behavior accordingly.

"Critically, verbal confidence—an explicit self-evaluation from a separate forward pass—independently predicted abstention across all models despite being less discriminatory of correctness, and activation decoding showed both measures (that is, token log probabilities and verbal confidence) are lossy read-outs of a richer internal representation," wrote the authors.

The recent work by Kumaran, Daw and their colleagues could soon inspire further efforts aimed at assessing how LLMs make decisions about what information or predictions to share with users. Collectively, these studies could contribute to the development of increasingly reliable conversational AI agents.

"Together, these results suggest that abstention is captured by the joint operation of a multidimensional internal confidence representation and threshold-based policies—consistent with structured metacognitive control in large language models—a capacity of growing importance as models transition to autonomous agents that must recognize their own uncertainty," wrote the authors.

© 2026 Science X Network