Исследователи суперкомпьютеров документируют эволюцию аппаратного обеспечения искусственного интеллекта

Поскольку искусственный интеллект трансформирует отрасли промышленности и национальную безопасность, понимание новейших аппаратных возможностей важно для сохранения технологического преимущества.

Ускорители искусственного интеллекта — специализированные системы, предназначенные для ускорения работы таких возможностей, как нейронные сети, глубокое обучение и машинная обучаемость — были основной областью разработки в течение почти десятилетия. С 2018 года команда суперкомпьютерного центра Lincoln Laboratory (LLSC) проводит исследование Lincoln AI Computing Survey (LAICS, произносится как "кружево"). Спустя шесть статей LAICS продолжает обобщать информацию о существующих коммерческих ускорителях искусственного интеллекта и сравнивать их максимальную производительность и пиковую мощность.

"Около восьми лет назад мы стали свидетелями резкого роста числа исследовательских ускорителей искусственного интеллекта, описанных в научных статьях, и анонсированных коммерческих ускорителей, и мы начали получать вопросы о них от правительственных спонсоров работы лаборатории. Это послужило достаточной мотивацией для начала исследования", - говорит Альберт Ройтер, сотрудник компании LLSC, которая управляет и оптимизирует высокопроизводительные вычислительные системы, используемые тысячами сотрудников лабораторий-исследователей.

Хотя ускорители искусственного интеллекта часто используются для таких процессов, как машинное обучение, они также могут использовать другие параллельные приложения, такие как моделирование функций молекул и ускорение моделирования гидродинамики — процессов, которые требуют больших вычислительных затрат.

Технологии ускорителей искусственного интеллекта могут быть представлены в различных формах: центральные процессоры (CPU), графические процессоры (GPU), специализированные интегральные схемы (ASIC), программируемые в полевых условиях вентильные матрицы (FPGA) и ускорители потоков данных. Каждый тип ускорителей имеет несколько разные возможности. Центральные процессоры могут использоваться для вычислений общего назначения, в то время как ASIC могут выполнять только очень специфические задачи. Ускорители потоков данных, ПЛИС и графические процессоры более гибкие и могут быть сконфигурированы для различных рабочих нагрузок. Эффективность и быстродействие различных типов ускорителей различаются в зависимости от их конструкции. Цель LAICS - изучить технологии, представленные в настоящее время на рынке, и сравнить их, чтобы найти лучшие ускорители для определенных нужд.

В команду LAICS, возглавляемую Рейтером, входят члены LLSC Майкл Джонс, Питер Михалеас, Джереми Кепнер и Виджай Гадепалли. Команда также сотрудничает с исследователями из Лаборатории Линкольна, в том числе из отдела передовых технологий и отдела разведки, наблюдения, рекогносцировки и тактических систем, чтобы узнать, как ускорители поддерживают исследования и разработки для своих миссий.

В первой статье из этой серии было рассмотрено 57 ускорителей, в то время как в последней - более 120. Основными показателями, которые команда использует для сравнения ускорителей, являются максимальная производительность и мощность; затем они сортируют ускорители по типу чипа, карты или системы. Все данные в документах взяты из открытых источников, что может быть непросто, поскольку некоторые компании предпочитают хранить свои данные о производительности и мощности в тайне. Чтобы быть в курсе последних событий в этой области, Reuther ежедневно проводит поиск новостей и цитат, в которых публикуются новые технические статьи в прессе, объявления компаний и отраслевые презентации.

"It continues to surprise me how each year another five to 10 startups get funded and announced, and then release new AI accelerators," Reuther says. "One might think that the landscape is saturated enough, but then another batch of innovative accelerators is introduced."

In addition to summarizing the performance versus peak power of the current accelerators, each paper explores a new aspect of the field. For example, the paper published in 2022 investigated sources of performance increases, finding that they stem from smaller, denser transistor designs and the use of lower numerical precision (i.e., calculating fewer significant digits). The latest paper examined different architectural choices available, analyzing how the addition of certain components, such as more cores per processor or parallel performance, would change the system.

Reuther plans to continue the survey for the foreseeable future, stating that, in just the past few months, six new startups have announced their first AI accelerators.

"AI and the hardware it runs on are such hot topics, and it is important for Lincoln Laboratory to be an unbiased technical advisor for choosing and pursuing the right technologies," Reuther says. "Our AI accelerator surveys have helped many sponsors and government colleagues gain a better understanding of the AI accelerator landscape and make better research and acquisition decisions about them. This survey has also been very valuable to determine which GPUs we should consider for upcoming LLSC system purchases so it not only benefits our sponsors and mission programs, but also benefits all LLSC users."

The full set of papers and the accompanying datasets can be found here.

>