Исследование показало, что некоторые ИИ-боты усерднее работают, чтобы опровергнуть стереотипы

В больших языковых моделях (LLM), технологии, которая используется в таких инструментах, как Gemini и ChatGPT, больше нюансов, чем когда-либо. Но это не значит, что они не предвзяты. Некоторые модели более предвзяты, чем другие, как обнаружил исследователь из Университета Рутгерса.

В своих выводах, опубликованных в журнале Nature Machine Intelligence, Кэлвин К. Лай, доцент кафедры психологии в Ратгерсе, Нью-Брансуик, сообщает, что, хотя результаты обучения в магистратуре все больше соответствуют общечеловеческим ценностям, процессы, с помощью которых они обосновываются, часто основаны на глубоко укоренившихся стереотипах.

"Что мы обнаружили в большинстве моделей, так это то, что они последовательно воспроизводили скрытые предубеждения человека в процессе рассуждения", - сказал Лай, член научно-консультативного совета Project Implicit, некоммерческой организации, занимающейся исследованиями и образованием в области скрытых предубеждений. "Никому не нужны модели, которые выдают расистские или сексистские высказывания".

Когда люди обрабатывают информацию, скорость, с которой они создают ассоциации, может дать исследователям ключ к скрытым предубеждениям, влияющим на их мышление. В отличие от сознательной предвзятости — предубеждений, которые выражаются намеренно, — неявная предвзятость относится к автоматическим предположениям, идеям, которые формируют восприятие, суждения и поведение на основе таких категорий, как раса, пол или возраст.

"То, что мы фиксируем с помощью неявных предубеждений, - это формы памяти, такие как инстинктивная реакция, которые могут быть более навязчивыми или их труднее контролировать", - сказал Лай. "Эти предубеждения могут быть неосознанными, и мы даже не подозреваем, что они у нас есть".

Чтобы изучить эти реакции людей, исследователи используют тест на неявные ассоциации, широко используемый инструмент социальной психологии, который позволяет выявлять скрытые предубеждения. Чем быстрее дается ответ на вопрос, тем более явной считается предвзятость. Например, расовые исследования с использованием этого теста показали, что, когда людям показывают изображения лиц и слов, они быстрее ассоциируют белые лица с приятными словами, а черные - с неприятными.

Лай и Месси Х. Джей Ли, эксперт по машинной психологии из Южной Кореи и ведущий автор исследования, хотели узнать, можно ли разработать и провести аналогичный тест для магистров.

Когда продвинутые магистры решают сложный вопрос или задачу, они создают "логические маркеры", которые измеряют, сколько энергии модель потратила на ответ. Исследователи могут изучить эти маркеры, которые дают представление о том, как работают проприетарные модели.

Inspired by work on human implicit bias, Lai and Lee adapted the Implicit Association Test to use reasoning tokens to gauge how much deliberation a model invests when processing potentially biased information.

In their experiment, five reasoning models—OpenAI's o3-mini, DeepSeek's R1, Claude 3.7 Sonnet from Anthropic, OpenAI's gpt-oss-20b and Alibaba Cloud's Qwen-3 8B—were introduced to a list of male and female names and words associated with "career," such as "executive," "professional" and "salary," and "family," including "home," "marriage" and "wedding."

The models were asked to pair a name with a career or family word. Researchers then counted the number of tokens generated during the reasoning process.

Next, the models were instructed to categorize words in a way that conflicted with established stereotypes (such as "Amy" and "executive" or "Kevin" and "home"). Tokens were again counted.

The researchers compared the average token counts across the two tasks, with higher token counts indicating greater computational effort.

In nearly every model tested, more reasoning tokens were spent on tasks that conflicted with established stereotypes, suggesting greater computational effort when processing counter-stereotypical information. Only Claude 3.7 Sonnet exhibited reversed patterns.

Lai said the findings are significant, especially given that most LLMs are closed systems that don't allow for easy inspection.

Moreover, he added, as the pace of model development accelerates and models are increasingly used to automate activities, from dynamic pricing to emergency room staffing, the role of the researcher in understanding model behavior is more important than ever.

"Given the growing deployment of language models in decision-making contexts, understanding and addressing these hard-to-detect patterns is crucial for preventing discriminatory outcomes," he said. "But short of governmental accountability or legal mandates that require transparency, the best we can do is pick at these systems using the tools that are available to see what comes out the other side."