Разработчики утверждают, что Gaudi 3 ускоряют процесс обучения нейронных сетей в 1,7 раз, увеличивают производительность вывода на 50%, и работают на 40% эффективнее моделей основных конкурентов — ускорителей H100 от NVIDIA.
Gaudi 3 — третье поколение ИИ-ускорителей от Intel, разработка которых стала возможной благодаря приобретению компанией Intel стартапа Habana Labs за $2 млрд в 2019 году. Ожидается, что массовое производство Gaudi 3 начнется в третьем квартале 2024 года для OEM-производителей серверов. Кроме того, Gaudi 3 будет доступен в Intel Developer Cloud, облачной платформе для разработчиков, сообщает tomshardware.com.
В отличие от предшественника, Gaudi 3 использует более продвинутый 5-нм производственный процесс от TSMC, в то время как Gaudi 2 был основан на 7-нм технологии. Ускоритель включает в себя два кристалла, содержащих 64 ядра Tensor Processing Cores пятого поколения и восемь матричных математических движков. А также — 96 Мбайт памяти SRAM с пропускной способностью 12,8 Тбайт/с. Кроме того, устройство оборудовано 128 Гбайт памяти HBM2e с пропускной способностью 3,7 Тбайт/с и 24 контроллерами Ethernet RDMA. Они поддерживают скорость передачи данных до 200 Гбит/с. Это обеспечивает эффективную связь как внутри одного сервера, так и между ними в одной сети.
Gaudi 3 поступит в продажу в двух формфакторах. Первый — модуль OAM (OCP Accelerator Module) HL — 325L. Его разработали для систем с высокопроизводительными вычислительными ускорителями. Его тепловая мощность составляет 900 Вт, а вычислительная — 1835 терафлопс в режиме FP8.
Вторая конфигурация представляет собой двухслотовую расширительную карту PCIe с TDP в 600 Вт. По утверждениям Intel, несмотря на сниженное энергопотребление, эта версия сохраняет аналогичную вычислительную мощность в 1835 терафлопс в режиме FP8, как и более мощный вариант. Впрочем, она предлагает меньшие возможности для масштабирования, поскольку предназначена для работы в конфигурации по четыре модуля. Выпуск данного варианта Gaudi 3 запланирован на четвёртый квартал 2024 года.
Intel также поделилась результатами испытаний производительности, сопоставив их с характеристиками систем, основанных на H100. Тесты показали, что Gaudi 3 позволяет обучать нейронные сети на 1,5–1,7 раза быстрее. Для сравнения, инженеры использовали модели LLAMA2-7B и LLAMA2-13B на конфигурациях с 8 и 16 ускорителями, а также модель GPT 3-175B на системе, включающей 8192 ускорителя.
