Пусть будет light—новая платформа искусственного интеллекта, работающая на оптическом оборудовании

Искусственный интеллект становится все более распространенным и способным, но в то же время очень жаждущим власти. Исследователи, в том числе из Токийского университета, разработали новый подход к созданию основанного на физике искусственного интеллекта - систем, которые используют естественное поведение физических систем для обработки информации, — что значительно сокращает объем вычислений, необходимых для их выполнения. Такой подход упрощает как процесс обучения этих систем, так и их структуру. Это было продемонстрировано с использованием оптической вычислительной системы, которая обрабатывает информацию с помощью света и может помочь проложить путь к более быстрому и энергоэффективному оборудованию для искусственного интеллекта.

Трудно игнорировать присутствие искусственного интеллекта. Новости и программное обеспечение постоянно дают о себе знать, даже если вы не взаимодействуете с системами искусственного интеллекта напрямую. За кулисами системы искусственного интеллекта становятся все больше, сложнее и ресурсоемче. Одной из самых больших проблем, связанных с развитием ИИ, является энергия, необходимая для работы этих систем. В частности, обучение моделей ИИ может потреблять огромное количество энергии, что вынуждает исследователей искать способы повышения эффективности, а не просто увеличивать размер и сложность систем ИИ. Одним из возможных подходов является использование специализированных физических систем для выполнения некоторых вычислений.

Доцент Кохей Накадзима (Kohei Nakajima) из Лаборатории интеллектуальных систем и информатики Токийского университета и его команда, включая исследователей из NTT, объединили оба эти метода в своей последней серии экспериментов, и результаты являются многообещающими. Исследование опубликовано в Nature Computational Science.

"Современные системы искусственного интеллекта обладают замечательными возможностями, но они также требуют огромных вычислительных ресурсов. Вместо того чтобы продолжать создавать более крупные и сложные модели, мы хотели переосмыслить сам процесс обучения, чтобы физические системы могли выполнять вычисления гораздо более естественно", - сказал аспирант Юнбо Чжан. "Для этого мы обратились к новой форме вычислений, которая использует свет для обработки информации вместо электрических сигналов. Но чтобы работать с этим, нам также пришлось изменить способ обучения с помощью искусственного интеллекта, чтобы его можно было реализовать на оборудовании, существенно отличающемся от традиционных алгоритмов обучения".

Обычные компьютерные чипы выполняют вычисления, используя электрические сигналы, которые проходят через большое количество транзисторов. Это потребляет энергию и выделяет тепло. Однако свет может передавать информацию чрезвычайно быстро и может передавать несколько сигналов одновременно. Такое сочетание скорости, параллельной обработки и потенциальной энергоэффективности позволяетoptical computing a promising platform for AI applications. Conventional AI methods can be implemented on optical and other physical systems, but doing so can be technically challenging and may require considerable measurement, control and data storage. The researchers therefore explored whether the learning process could be redesigned to better suit the characteristics of physical systems.

"We developed a new overall approach combining a training method called SS-DFA with a simpler network architecture called the single-map framework," said Nakajima.

"Conventional training requires information about the system to be measured and recorded as it evolves, before the learning process can then backtrack to determine what needs to change to achieve a desired outcome. Our method avoids the need to access most of these intermediate states, using the final error together with information about the system to guide learning. This reduces the amount of measurement, data storage and computation required.

"We also designed a simpler architecture in which many units follow the general rules, rather than relying on a set of highly complex internal connections. We demonstrated the combined approach through computer simulations and experiments using an optical computing system."

Surprisingly, the simplified design matched, and in some tests outperformed, more complex neural network architectures, while requiring far less computation. In previous research, the team showed complex patterns of activity naturally emerged inside deep neural networks, including large language models, and suggested these patterns could be used to improve information processing. The new study demonstrated that these principles can be reproduced in an optical system.

Future work will explore whether the approach can be scaled to larger AI models, applied to more complex tasks involving multiple types of data, and implemented on a wider range of computing platforms. If successful, the framework could reduce the computational demands of AI while taking advantage of optical systems that generate little heat. This could lower the energy needed for both computing and cooling in future AI data centers, while also reducing water consumption due to the lower heat output.

"At present, we have integrated the proposed architecture into several relatively baseline modern neural network architectures, and the results show that it can improve performance while reducing computation," said Nakajima. "However, we have not yet tested it on today's largest AI models, particularly language and so-called multimodal models, and this is an important direction for future research. Because our framework is modular and can be inserted as a computational block into existing networks, it provides a possible route toward such scales.

"And, if our system can be miniaturized and integrated onto a chip, it could process data directly inside phones, cameras or self-driving cars, enabling faster responses with lower energy consumption. Before this becomes practical, however, further work is needed on miniaturization, stability and large-scale manufacturing."