Обучение человека – недооцененный фактор успеха команд, работающих с искусственным интеллектом

Человек–Сотрудничество с ИИ широко рассматривается как модель работы будущего: ожидается, что совместная работа людей и ИИ будет более продуктивной, чем работа в одиночку. Тем не менее, проведенные на сегодняшний день исследования, похоже, говорят о другом: в среднем команды, работающие с искусственным интеллектом, добивались меньших успехов, чем те, кто был лучше в одиночку. Повторный анализ, проведенный исследователями из Института человеческого развития Макса Планка, показывает, что этот вердикт был чрезмерно пессимистичным.

"Потенциал человека–Сотрудничество с ИИ недооценивается". Таков главный вывод нового исследования, опубликованного в журнале Proceedings of the National Academy of Sciences и проведенного международной командой под руководством Джулиана Бергера и Стефана Герцога из Центра адаптивной рациональности Института человеческого развития Макса Планка. Исследовательская группа более внимательно изучила обзорное исследование, которое произвело фурор в 2024 году. В обзоре были проанализированы 74 исследования на людях–Взаимодействие с искусственным интеллектом, охватывающее широкий спектр задач - от классификации изображений и прогнозирования цен на жилье до написания кода.

Результаты исследования были отрезвляющими: в среднем синергетический эффект был отрицательным. Другими словами, совместная работа команды людей и искусственного интеллекта была хуже, чем у тех, кто работал поодиночке. Это породило сомнения в том, является ли человек–Сотрудничество с ИИ вообще стоило того, чтобы им заниматься.

Действительно ли ситуация настолько безрадостна? Именно на этот вопрос исследователи попытались ответить в своем новом обзоре. Они вновь обратились к 74 исследованиям, изучающим природу человеческого организма.–Более подробно о взаимодействии с искусственным интеллектом. Они хотели знать, изменилась бы картина, если бы ИИ объяснил свои результаты или если бы люди получали обратную связь о том, каким был бы правильный ответ после каждого решения, что давало бы им возможность учиться и адаптироваться к алгоритму.

Первым неожиданным результатом стало то, что большинство исследований не предоставляли возможностей для обучения. Только 10 из 74 участников дали участникам какую-либо обратную связь, и ни один из них не изменил ее экспериментально. "Эффекты обучения при взаимодействии человека и машины остаются практически неизученными", – говорит Бергер, который исследовал эту тему в рамках своей докторской диссертации в Институте человеческого развития Макса Планка.

Чтобы выявить эти эффекты, исследователи углубились в исследование. Используя статистический метод, известный как мета-регрессия, они сравнили исследования с обратной связью и без нее, принимая во внимание, объяснил ли ИИ свои рекомендации. И вот второй удивительный результат: когда участники получили доступ как к обратной связи, так и к объяснениям, человеческий мозг стал более восприимчивым.–Тандем ИИ, как правило, превосходил партнера, работающего в одиночку. С другой стороны, одни только объяснения — без обратной связи — приводили к явно негативной синергии.

What appears to be the key is a combination of explanation and feedback. Feedback alone—without explanations—made no clearly discernible difference. This result suggests that "explanations improve synergy mainly when humans can learn to verify the AI's reliability through feedback," the researchers write.

Because none of the 74 studies varied the learning opportunities provided within an experiment (e.g., feedback vs. no feedback), the studies were compared based on their design features. The researchers stress that experiments directly manipulating learning opportunities are needed for stronger, causal conclusions to be drawn.

Another open question is how the findings translate to generative AI and large language models (LLMs). "Verbal interaction with chatbots could make it easier to provide people with personalized feedback and explanations, thereby stimulating learning. But for that to happen, people also need to find out what is actually correct; a chatbot's answers can be wrong and do not constitute independent feedback," says Herzog, senior research scientist in the Center for Adaptive Rationality at the Max Planck Institute for Human Development.

"At the same time, new risks arise from cognitive 'offloading'—that is, delegating mental work to AI. In the medium and long term, this could jeopardize learning success or even lead to loss of skills."

To get a clearer picture, the researchers call not only for further experiments but, above all, for "a paradigm shift in human–AI interaction research that explicitly addresses human learning." They emphasize that "supporting human learning—particularly by providing outcome feedback and AI explanations—is an underappreciated and understudied but promising lever for increasing human–AI synergy. Our findings paint a more optimistic picture and highlight the need to explicitly and experimentally study when and how fostering human learning boosts human–AI synergy."

The research already supports a clear recommendation: AI is a tool, and like any tool it must be designed with humans in mind from day one. "When designing AI systems and interactions with them, we need to consider humans as learning beings from the outset," Herzog stresses. Only then can the full potential of the interaction be realized.