Магнитная память может ускорить работу ИИ edge при одновременном снижении энергопотребления

Техасские инженеры объединились с крупнейшим в мире литейным заводом по производству полупроводников, чтобы разработать и протестировать новую технологию памяти, которая могла бы помочь удовлетворить растущие потребности искусственного интеллекта в энергии.

Совместно с Taiwan Semiconductor Manufacturing Company (TSMC) исследователи протестировали SOT-MRAM - тип памяти, который может сохранять информацию даже при отключенном питании. В нем используются магнитные свойства, что делает его более быстрым, а также потребляет меньше энергии, чем другие технологии памяти.

"Уникальное сочетание скорости, энергоэффективности и долговечности делает SOT-MRAM идеально подходящим для приложений искусственного интеллекта, особенно в устройствах, где такие ресурсы, как мощность и память, ограничены", - сказал Сэм Лю, первый автор новой статьи, опубликованной в Science Advances, и недавний выпускник Калифорнийского университета в Остине. "SOT-MRAM не рассматривался для аппаратного обеспечения искусственного интеллекта, поскольку он может сохранять только два состояния, но мы разработали его таким образом, чтобы использовать преимущества бинарного состояния, сохраняя при этом точность".

Исследовательская группа протестировала чипы на различных задачах искусственного интеллекта, включая логический вывод по нейронной сети, обучение бинарной нейронной сети и моделирование вероятностных графов.

Им требовалось всего 2 наносекунды на операцию записи — стандартное переключение сохраненных данных между 0 и 1 — при потреблении всего 2 пикоджоулей энергии на запись. При использовании других технологий памяти выполнение этих задач может занять от 5 до сотен раз больше времени — несколько миллисекунд — и потреблять сотни пикоджоулей и более.

Искусственный интеллект и центры обработки данных, необходимые для его обеспечения, привели к быстрому росту спроса на энергию в Техасе и во всем мире. Ожидается, что в ближайшие несколько лет Техас станет столицей центров обработки данных в США, и это может привести к 5-кратному увеличению энергопотребления по всему штату.

Есть два способа снизить энергопотребление ИИ: сделать технологию более эффективной и уменьшить зависимость от центров обработки данных. Улучшенные возможности памяти, такие как SOT-MRAM, могут обеспечить и то, и другое.

"We show that SOT-MRAM AI accelerators can provide energy efficiency, with enough accuracy, to eventually replace CPU-based AI accelerators in edge devices such as sensors," said Jean Anne Incorvia, associate professor in the Cockrell School of Engineering's Chandra Family Department of Electrical and Computer Engineering and the faculty leader on the project. "For example, take a robotic hand that senses heat. Just like a human, the local AI in the hand can make a quick decision with enough accuracy to move the hand without even transmitting the neural signal to the brain. When very high accuracy is needed, then the robot can connect to GPU-based data centers in the cloud."

The researchers will continue their work on this technology by refining key characteristics that enable the chips' speed and efficiency and by reducing variation between devices, which can reduce neural network accuracy.