Как искусственные нейронные сети создают свой собственный механизм обучения

По мере того как искусственный интеллект становится все более мощным, его способность справляться с задачами, подобными человеческим, становится неоспоримой. Искусственные нейронные сети могут научиться распознавать изображения, использовать язык или писать компьютерный код. Подобно цепям мозга, они перестраиваются по мере обучения, регулируя силу своих связей для повышения производительности.

Многие нейробиологи задаются вопросом: чему могут научить их эти механические системы о том, как мозг учится? И какие модели, вероятно, будут наиболее информативными?

В статье, опубликованной 9 октября в журнале PNAS, ученые из Института исследований мозга Макговерна Массачусетского технологического института и К. Центр интегративной вычислительной нейронауки Лизы Янг (ICoN) утверждает, что важнейшим показателем биологической достоверности подхода искусственной нейронной сети к обучению является способность сети самоорганизовываться без направляющей руки разработчика. Они показывают, что искусственная нейронная сеть может создать свой собственный механизм обучения. С помощью нескольких простых инструкций о том, как и когда должны меняться соединения, группа случайно подключенных устройств может преобразоваться в эффективную сеть обработки информации, обучающуюся на основе данных, на которых она обучается.

Биологическое обучение

Когда дело доходит до обучения ИИ выполнять свою работу, этот подход является эффективным. Но Ляо и его коллеги предупреждают, что сети, спроектированные таким образом, могут не дать большого представления о биологическом обучении. "У мозга нет внешнего дизайнера или архитектора", - говорит Ляо. "Мозг должен сам себя организовывать. И нам нужно знать, как простые правила помогут мозгу организоваться".

Правила, которые изменяют нейронные связи в процессе обучения животного, могут отличаться в разных частях мозга или меняться по мере того, как мозг становится более зрелым. Нейробиологи работают над тем, чтобы понять, как работают эти правила и как они могут быть нарушены в результате старения или болезней, что является важным шагом на пути к разработке новых методов лечения и стратегий профилактики. Ляо указывает на разработку интерфейсов мозг-компьютер, которые направлены на восстановление коммуникации при потере языковых способностей мозга или позволяют парализованным пациентам управлять конечностями с нейропротезами, как на одно из возможных применений.

"None of these can work without knowing the rules behind neuron-neuron interactions," he says. "That’s not achievable by just designing a circuit that works very well." An artificial neural network’s value to neuroscience should instead be judged by the extent to which it can organize itself — not just its connections, but also the machinery that adjusts those connections.

Self-organized artificial learning

Working with Poggio and Hartnett, Liao, Ziyin, and Gan set out to develop and validate a self-organizing computational network capable of learning. Liao explained that the network’s structure begins with multiple layers of randomly interconnected neuron-like units. Within each layer, every neuron-like component is subject to the same rules about how connections should be adjusted. "They just interact with each other using that rule, and they develop some type of behavior," he says.

The team’s network implements the kind of simple rules thought to rewire brain circuits as humans and other animals learn from their experiences. In both the brain and the machine network, for example, "neurons that fire together wire together." In other words, when two connected neurons are activated at the same time, the connection between them strengthens.

The team showed that a self-organizing network governed by rules like these can learn to recognize patterns and classify images. They explain that in their model, learning is enabled by self-assembling motifs that emerge according to simple rules, then serve as building blocks for functional circuits. As their network learned, these motifs reorganized themselves using an optimization strategy similar to the approach built into most modern machine learning systems, called gradient descent, in which connections are gradually adjusted in response to errors in order to improve performance.

Most modern AI implements gradient descent through some form of the back-propagation algorithm, which neuroscientists say is unlikely to be used by the brain. The team compared its self-organizing network to networks designed to learn in this way and found that it performed at a similar level.

Connecting brains and machines

Poggio says finding a biological parallel to back-propagation could trigger significant progress in both AI and neuroscience.

"If the synaptic motifs we propose are, in fact, used by the brain to do what backpropagation does for artificial neural networks, then we will have a strong connection at the level of fundamental mechanisms between artificial and natural networks — between machines and brains," he says.

Liao says a self-organizing network does not necessarily learn the same way the brain does — but it’s a critical starting point for biological plausibility.

"Self-organization is the first high-level framework," he says. "Once we are good with self-organization as a measure, then we can talk about next thing."

While the group’s main objective is better understanding the brain, Liao says that knowledge could ultimately improve machine learning systems, too, enabling engineers to develop networks that perform better or in more human-like ways.

>