核心要点

　　英伟达周一宣布 ，Groq 3 LPX 机柜已经全面量产，这代表该公司史上最大一笔收购所获取的技术正式走向商用 。

　　英伟达高级总监迪翁・哈里斯向媒体透露，Groq 机柜将与 Vera 中央处理器 、Rubin 图形处理器一同部署在 Nebius（NBIS ，新型云服务商）的数据中心
，将于今年晚些时候正式上线。

　　英伟达全力赶工生产 Groq 芯片、尽快交付客户，反映出低延迟推理的地位愈发关键
。想要让 AI 智能体做到响应迅速
、不给用户带来明显等待时延（尤其是代码开发场景） ，低延迟推理必不可少。英伟达表示
，云服务商可以为这类高速 Token 输出服务收取更高费用 。

　　哈里斯在电话会议中表示：“对于提供 Token 输出服务的厂商而言，该产品让他们可以面向对延迟极度敏感的客户 ，推出高端增值服务套餐
。 ”

　　去年 12 月
，英伟达斥资 200 亿美元收购 Groq 资产，这是该公司有史以来规模最大的一笔收购。

　　Groq 芯片架构在芯片裸片内置 500MB 高速静态随机存储器（SRAM） ，以此缓解内存带来的性能瓶颈 。Groq 芯片由三星代工生产；而英伟达 GPU 则由台积电（TSM）制造
。

　　英伟达在单台 LPX 机柜内集成 256 颗 Groq 3 芯片。引用 Artificial Analysis 的基准测试数据
，Groq 3 LPX 机柜每秒可输出 3400 个 Token 。

　　该赛道竞争激烈
。规模相对较小的 GPU 厂商 AMD 今年早些时候宣布，会将自家机柜级系统与近期完成上市的 Cerebras（CBRS）芯片结合 ，主打低延迟推理场景。OpenAI 新推出的 “极速模式（Ultrafast）” 正是由 Cerebras 硬件提供算力，每秒输出 750 个 Token 。

　　低延迟芯片并不会取代 GPU
。GPU 是 AI 领域的主力芯片
，同时兼顾训练与推理任务，灵活性强 ，能够适配新技术与各类大模型。Groq 这类低延迟芯片
，主要专门负责模型服务流程里的解码阶段（decode phase） 。

　　哈里斯称：“这并不是要取代 GPU。而是针对不同业务负载，选用最合适、性价比最优的处理器
。
”

　　英伟达目前正在扩大 Vera Rubin 系统的出货量 ，该系统于今年启动生产。在今年 3 月的 GTC 大会主题演讲上
，英伟达 CEO 黄仁勋预测，到 2027 年 ，当前一代 Blackwell 芯片加上全新 Vera Rubin 系统
，累计订单规模将达到 1 万亿美元 。

　　黄仁勋当时表示，计划把面向代码开发业务的数据中心四分之一的机柜空间分配给 Groq 芯片
。 “数据中心其余全部机柜 ，100% 部署 Vera Rubin。” 黄仁勋说道 。

　　英伟达将于本周三发布财报
。