英伟达已开始量产提升AI代理响应速度的推理加速器‘Grok 3 LPX’。在处理大规模数据的AI计算性能竞争中，针对代理AI核心的‘令牌生成速度’的基础设施竞争正在加速。
英伟达于25日在美国加利福尼亚州圣克拉拉举行的Hot Chips大会上宣布了Grok 3 LPX的正式量产。Grok 3 LPX是英伟达下一代Verra Rubin平台的扩展，旨在提供交互式AI推理加速。
性能方面，英伟达透露，Grok 3 LPX在针对开源代理模型Gemma 4 31B的人工分析基准测试中，达到了每秒3400个输出令牌的记录。这是在应用10万个令牌规模的上下文条件下，该模型的最高速度。
英伟达表示，在对延迟敏感的任务如代理编码中，Grok 3 LPX提供的响应速度比类似平台快最多4倍。其重点是减少AI代理在代码编写、测试、文件审核和结果验证等重复任务中的工作时间。
Grok 3 LPX将补充Verra Rubin NVL72系统的推理性能。Verra Rubin是一个支持大规模AI模型学习和推理的平台。通过结合专注于令牌生成速度的Grok 3 LPX，旨在同时满足大规模上下文处理和实时响应这两项代理AI的需求。
AI云企业也开始引入Grok 3 LPX。Nebius计划将Grok 3 LPX引入其生产用推理平台‘Nebius Token Factory’，以便开发者在保持现有API的同时，利用超高速令牌生成功能。AI推理企业Grok也将成为早期引入企业之一。
此次量产具有重要意义，标志着AI基础设施竞争标准的变化。随着生成型AI超越简单回答问题，扩展为能够自主规划和执行多项任务的代理AI，响应延迟和令牌生成速度成为重要的性能指标。
英伟达正在构建一个将CPU、DPU、存储和以太网结合的机架系统，以支持Verra Rubin平台。通过优化包括Grok 3 LPX在内的平台整体，以适应AI代理的工作负载，英伟达计划在AI数据中心市场中继续保持推理基础设施的主导地位。
※ 本报道经人工智能（AI）系统翻译与编辑。
