Исследование нейронных сетей проливает свет на то, как чат-боты с искусственным интеллектом "рассуждают" подобно людям

Когда люди пишут предложения или решают математические задачи, они мыслят символически — каждое число, переменная или слово выражается символом. Хотя чат-боты с искусственным интеллектом так не "думают", при необходимости они могут давать убедительные советы по письму, математике и многим другим темам, как если бы это делал человек.

Как системы искусственного интеллекта могут это делать, неясно, поскольку они не запрограммированы человеком напрямую. Вместо этого их обучают разрабатывать собственные внутренние стратегии, анализируя огромные объемы данных. И хотя использование чат—ботов с искусственным интеллектом будет становиться все более распространенным явлением, тот факт, что люди не до конца понимают, как они работают внутри компании, затрудняет доверие к ним, особенно в деликатных ситуациях.

Новое исследование, проведенное компьютерным лингвистом из Йельского университета Томом Маккоем, опубликованное на сервере препринтов arXiv, дает представление о том, как большие языковые модели (LLM) — системы искусственного интеллекта, обученные на больших наборах данных генерировать тексты, похожие на человеческие, - могут эффективно выполнять задачи, такие как решение математических задач или написание компьютерного кода, которые, по—видимому, требуют символьных вычислений. рассуждения. Исследование предоставляет доказательства того, что внутренние представления нейронных сетей неявно реализуют символическую структуру.

Исследователи говорят, что в основе этого пробела в знаниях лежит то, что успешные магистры, такие как Claude или ChatGPT, не оперируют символической моделью интеллекта, в которой отдельные единицы текста — например, слова — объединяются структурированным образом, создавая логическую формулу.

Скорее всего, нейронные сети, питающие этих чат-ботов, состоят из векторов, которые представляют собой длинные списки чисел, позволяющие LLM обрабатывать информацию. Хотя эти векторы могут показаться недостаточными для понимания символической структуры языка, логики, математики и других когнитивных областей, продвинутые системы LLM значительно превосходят предыдущие системы искусственного интеллекта, построенные на основе символической структуры, сказал Маккой.

"Как нам согласовать их успех с тем, как, по нашему мнению, всегда работал интеллект?" - сказал Маккой, доцент лингвистики факультета искусств и наук Йельского университета и ведущий автор исследования.

Для нового исследования Маккой и его соавторы проанализировали внутренние функции нескольких известных университетов. Они обнаружили, что нейронные сети неявно улавливают символическую структуру в числовых списках, которые ими управляют.

"Our analysis demonstrates that, despite appearances, the vectors powering LLMs are organized in a way that is equivalent to the symbolic structures that drive much of human cognitive function," McCoy said. "Think of a pointillist painting. At a low level, the individual dots that compose the painting have no interpretable human meaning, but the way they're arranged gives rise to a high-level structure that we can understand. Suddenly, you're seeing people gathered in a Parisian park on a beautiful day.

"With LLMs, we show that vectors are organized in a very particular way that gives rise to emergent symbolic structure—symbolic structure that is present at a high level despite not being apparent at a low level."

The study was co-authored by Paul Soulos of Microsoft, Tal Linzen of New York University and Paul Smolensky of Microsoft Research.

"LLMs have become an essential technology in AI," Linzen said. "It is disconcerting that we do not fully understand how they structure information because that might lead them to behave in surprising or unsafe ways. Our results significantly advance our understanding of these models and suggest a path toward controlling them more effectively."

Vector representations of a variety of neural networks can be closely approximated with symbolic structure, the study showed. To do this, the researchers replaced LLMs' vectors with tensor product representations (TPRs)—mathematical constructions that represent information as combinations of "fillers" and "roles." For example, in the sentence "cats chase dogs," the words are considered the fillers while the grammatical parts they play—subject, verb, object—are the roles. Likewise, in a fraction, the numbers are fillers while the numerator and denominator are the roles.

The researchers found that they could replace an LLM's entire representation-generating process with "role-filler" approximations embodying symbolic structures, and the AI system's behavior would remain largely unchanged. The finding held for small-scale neural networks trained to manipulate lists as well as for seven large-scale LLMs operating in four domains that have long been central in research on symbolic intelligence: language, arithmetic, logic and computer coding.

They also found that they could modify an LLM's behavior in targeted ways through precise interventions on the model's internal vector representations. For example, if the LLM's input was "the clever doctor helped a lawyer," the researchers could edit the component of the vector that encodes "clever" as an adjective describing the sentence's subject and change its position so that it modifies the object. The LLM would then behave as if the input had been "the doctor helped a clever lawyer," McCoy explained.

The ability to modify the LLM's behavior in this manner shows that the AI systems' internal operations are reliant on symbolic structure, he said.

"What we've found is that LLMs naturally converge to representations with role-filler structure," McCoy said. "This shows that LLMs utilize a particular type of symbolic structure, but our work only scratches the surface of what must be studied to truly understand how neural networks encode information."