Как искусственные нейронные сети создают свой собственный механизм обучения

По мере того как искусственный интеллект становится все более мощным, его способность справляться с задачами, подобными человеческим, становится неоспоримой. Искусственные нейронные сети могут научиться распознавать изображения, использовать язык или писать компьютерный код. Подобно цепям мозга, они перестраиваются по мере обучения, корректируя силу своих связей для повышения производительности.

Многие нейробиологи задаются вопросом: чему могут научить их эти компьютерные системы о том, как мозг учится? И какие модели, вероятно, будут наиболее информативными?

В статье, опубликованной в журнале PNAS, ученые из Института исследований мозга Макговерна Массачусетского технологического института и К. Центр интегративной вычислительной нейронауки Лизы Янг (ICoN) утверждает, что важнейшим показателем биологической достоверности подхода искусственной нейронной сети к обучению является способность сети самоорганизовываться без направляющей руки разработчика.

Они показывают, что искусственная нейронная сеть может создать свой собственный механизм обучения. С помощью нескольких простых инструкций о том, как и когда должны меняться связи, группа случайно соединенных элементов может преобразоваться в эффективную сеть обработки информации, обучающуюся на основе данных, на которых она обучается.

"Современная технология искусственного интеллекта работает очень хорошо, но она не обязательно использует алгоритм обучения, который используется мозгом", - говорит Цяньли Ляо, доктор философии. Лиза Янг - постдокторант ICoN Center в лабораториях профессоров Массачусетского технологического института и сотрудников Института Макговерна Томазо Поджио и Марка Харнетта, а также соавтор статьи PNAS с научным сотрудником Массачусетского технологического института Лю Цзыином и аспирантом Юлу Ганом.

Ляо объясняет, что инженеры разрабатывают правила изменения связей по мере того, как искусственная нейронная сеть обрабатывает обучающие данные и получает обратную связь о своих ошибках.

Когда дело доходит до обучения ИИ выполнять свою работу, этот подход является эффективным. Но Ляо и его коллеги предупреждают, что сети, спроектированные таким образом, могут не дать большого представления о биологическом обучении. "У мозга нет внешнего дизайнера или архитектора", - говорит Ляо. "Мозг должен сам себя организовывать. И нам нужно знать, как простые правила помогут мозгу организоваться".

Правила, которые изменяют нейронные связи в процессе обучения животного, могут отличаться в разных частях мозга или меняться по мере того, как мозг становится более зрелым.

Neuroscientists are working to understand how those rules work and how they might be disrupted by aging or disease—a vital step toward developing new therapies and prevention strategies. Liao points to the development of brain-computer interfaces, which aim to restore communication when the brain's language abilities are lost or let paralyzed patients control neuroprosthetic limbs, as one potential application.

"None of these can work without knowing the rules behind neuron-neuron interactions," he says. "That's not achievable by just designing a circuit that works very well." An artificial neural network's value to neuroscience should instead be judged by the extent to which it can organize itself—not just its connections, but also the machinery that adjusts those connections.

Working with Poggio and Harnett, Liao, Ziyin and Gan set out to develop and validate a self-organizing computational network capable of learning. Liao explained that the network's structure begins with multiple layers of randomly interconnected neuron-like units.

Within each layer, every neuron-like component is subject to the same rules about how connections should be adjusted. "They just interact with each other using that rule, and they develop some type of behavior," he says.

The team's network implements the kind of simple rules thought to rewire brain circuits as humans and other animals learn from their experiences. In both the brain and the machine network, for example, "neurons that fire together wire together." In other words, when two connected neurons are activated at the same time, the connection between them strengthens.

The team showed that a self-organizing network governed by rules like these can learn to recognize patterns and classify images. They explain that in their model, learning is enabled by self-assembling motifs that emerge according to simple rules, then serve as building blocks for functional circuits.

As their network learned, these motifs reorganized themselves using an optimization strategy similar to the approach built into most modern machine learning systems, called gradient descent, in which connections are gradually adjusted in response to errors to improve performance.

Most modern AI implements gradient descent through some form of the backpropagation algorithm, which neuroscientists say is unlikely to be used by the brain. The team compared its self-organizing network to networks designed to learn in this way and found that it performed at a similar level.

Poggio says finding a biological parallel to backpropagation could trigger significant progress in both AI and neuroscience.

"If the synaptic motifs we propose are, in fact, used by the brain to do what backpropagation does for artificial neural networks, then we will have a strong connection at the level of fundamental mechanisms between artificial and natural networks—between machines and brains," he says.

Liao says a self-organizing network does not necessarily learn the same way the brain does—but it's a critical starting point for biological plausibility.

"Self-organization is the first high-level framework," he says. "Once we are good with self-organization as a measure, then we can talk about the next thing."

While the group's main objective is better understanding the brain, Liao says that knowledge could ultimately improve machine learning systems, too, enabling engineers to develop networks that perform better or in more humanlike ways.

This story is republished courtesy of MIT News (web.mit.edu/newsoffice/), a popular site that covers news about MIT research, innovation and teaching.