即時 | 中央社 CNA ( ) • 2024-04-10 11:50

(中央社记者张建中新竹10日电)英特尔(Intel)推出新款AI加速器Gaudi 3,采用台积电5奈米生产,预计今年第2季向代工厂提供通用基板和开放加速器模型的标准配置,第3季全面上市。

英特尔表示,Gaudi 3加速器是专为高效能、高效率的生成式AI运算所打造,每台加速器都有专属的异质运算引擎,运算效率高,并擅于处理复杂的矩阵运算,是深度学习演算法的基础运算。

英特尔指出,Gaudi 3搭载128 GB的HBMe2记忆体容量、3.7 TB的记忆体频宽和96 MB的静态随机存取记忆体(SRAM),能够提供处理大型生成式AI资料集所需的记忆体,且适用于大型语言和多模态模型,有助于提升工作负载效能和资料中心的成本效率。

Gaudi 3加速器整合24个200 GB的乙太网路连接埠,提供开放标准网路,实现高效扩充,以支援大型运算集,并克服专有网路架构的供应商限制。

英特尔表示,Gaudi 3加速器是采用台积电5奈米制程生产,在B16浮点格式的运算效能,为前一代采用7奈米Gaudi 2加速器的4倍;Gaudi 3的记忆体频宽和网路频宽也分别是Gaudi 2的1.5倍和2倍。

英特尔说,Gaudi 3的参数模型训练时间、推论吞吐量和推论能源效率皆优于辉达(NVIDIA)的H100,推理速度也优于辉达的H200。(编辑:郭无患)1130410