Nvidia лидирует в тестах MLPerf по измерению производительности ИИ-чипов

Графические процессоры Nvidia в очередной раз почти полностью заняли первое место в одном из самых популярных тестов для измерения производительности чипов в сфере искусственного интеллекта ^[1]. На этот раз основное внимание ^[2] уделяется генеративным приложениям ИИ, таким как большие языковые модели (LLM).

Особой конкуренции не было. Системы, собранные компаниями SuperMicro, Hewlett Packard Enterprise, Lenovo и другими, в состав которых входит до восьми чипов Nvidia, в среду заняли большинство лидирующих позиций в тестовом бенчмарке MLPerf, организованном отраслевым консорциумом MLCommons.

Тест, измеряющий, насколько быстро машины могут генерировать токены, обрабатывать запросы или выводить образцы данных, известный как ИИ-вывод, является пятой частью многолетнего теста на прогнозирование.

На этот раз MLCommons обновил тесты скорости, добавив два теста, представляющих распространённые варианты использования генеративного ИИ. Один тест показывает, насколько быстро чипы работают с LLM Llama 3.1 405b от Meta* с открытым исходным кодом, которая является одной из самых крупных программ генеративного ИИ.

MLCommons также добавил интерактивную версию Llama 2 70b от Meta. Этот тест предназначен для имитации работы чат-бота, где время отклика имеет значение. Машины тестируются на скорость генерации первого токена вывода языковой модели, чтобы имитировать необходимость быстрого ответа, когда кто-то вводит запрос.

Третий новый тест измеряет скорость обработки графовых нейронных сетей, которые представляют собой задачи, состоящие из множества объектов и их связей, например, в социальной сети.

Графовые нейронные сети стали более важными компонентами программ, использующих генеративный ИИ. Например, подразделение Google DeepMind широко использовало графовые сети ^[3] для потрясающих прорывов в прогнозировании сворачивания белков с помощью модели AlphaFold 2 в 2021 году.

Четвёртый новый тест измеряет, насколько быстро можно собрать данные LiDAR в автомобильную карту дороги. MLCommons создал собственную версию нейросети для этого теста, объединив существующие подходы с открытым исходным кодом.

В соревновании MLPerf участвуют компьютеры, собранные компаниями Lenovo, HPE и другими в соответствии со строгими требованиями к точности результатов работы нейронных сетей. Каждая компьютерная система отправляла в MLCommons отчёты о своей максимальной скорости обработки данных в секунду. В некоторых задачах критерием оценки является средняя задержка — время, которое требуется для получения ответа от сервера.

Графические процессоры Nvidia показали лучшие результаты почти во всех тестах в закрытом дивизионе, где правила настройки программного обеспечения наиболее строгие.

Конкурент AMD, использующий графический процессор MI300X, набрал наибольшее количество баллов в двух тестах Llama 2 70b. Он генерировал 103 182 токена в секунду, что значительно лучше, чем второй по результатам новый графический процессор Nvidia Blackwell.

Эта победившая система AMD была создана новым участником бенчмарка MLPerf, стартапом MangoBoost ^[4], который производит подключаемые карты, ускоряющие передачу данных между стойками графических процессоров. Компания также разрабатывает программное обеспечение для улучшения работы искусственного интеллекта под названием LLMboost ^[5].

Nvidia оспаривает сравнение показателей AMD с показателями Blackwell, ссылаясь на необходимость «нормализовать» показатели в зависимости от количества чипов и компьютерных «узлов».

Google также представил систему, демонстрирующую свой чип Trillium, шестую версию собственного тензорного процессора (TPU). Эта система значительно отстала от Blackwell от Nvidia в тесте на скорость, с которой компьютер может отвечать на запросы для создания изображений с помощью Stable Diffusion.

В последнем раунде тестов MLPerf было выявлено меньше конкурентов Nvidia, чем в некоторых предыдущих выпусках. Например, подразделение Habana от микропроцессорного гиганта Intel не получило никаких заявок со своими чипами, как это было в прошлые годы. Гигант мобильных чипов Qualcomm и на этот раз не прислал никаких заявок.

Однако результаты тестов позволили Intel немного похвастаться. В каждой компьютерной системе нужен не только графический процессор для ускорения вычислений ИИ, но и центральный процессор для выполнения обычных задач по планированию и управлению памятью ^[6] и хранилищем данных.

В закрытом подразделении центров обработки данных микропроцессор Intel Xeon был основным процессором, на котором работали семь из 11 лучших систем, в то время как серверный микропроцессор AMD EPYC победил только в трёх случаях. Это свидетельствует о том, что Intel показала лучшие результаты, чем несколько лет назад.

11-я самая производительная система, эталон скорости обработки гигантской модели Meta Llama 3.1 405b, была создана самой Nvidia без встроенного микропроцессора Intel или AMD. Вместо этого Nvidia использовала комбинированный чип Grace-Blackwell 200, в котором графический процессор Blackwell соединён в одном корпусе с собственным микропроцессором Nvidia Grace.

*Meta и её продукты (Instagram, Facebook) запрещены на территории Российской Федерации

Источник ^[7]