OpenAI 公布 Jalapeño 推理晶片首批效能結果

OpenAI 在官方工程文章中公布 Jalapeño 的首批測試數據，稱這款自研推理晶片能在同一架構下同時提升吞吐量及降低延遲。公司表示，Jalapeño 已在 InferenceX 公開基準上測試 GPT‑OSS 120B、DeepSeek R1 670B 及 Kimi K2.5 1T，按晶片額定功耗標準化後，峰值每瓦效能約較對比系統高 1.5 至 1.9 倍，端到端延遲則低約 1.7 至 3.6 倍。

據 OpenAI 說明，Jalapeño 以語言模型推理及互動式代理工作負載為核心設計，透過晶片、記憶體、網絡、服務軟件及機架級系統共同優化，減少模型狀態和 KV cache 在推理各階段之間移動造成的等待。OpenAI 亦表示，AI 模型本身參與了晶片設計、驗證及程式優化流程；在部分 GPT‑OSS attention 與 mixture-of-experts 區塊，AI 產生的實作較既有人手專家版本快 1.5 至 1.8 倍。

公司計劃在今年年底前把 Jalapeño 部署到 OpenAI 的運算基礎設施，並指 Gen 2 已進入深入開發、Gen 3 亦在規劃中。對企業與開發者而言，這類 first-party silicon 若能按計劃量產，可能影響大型模型推理服務的成本、延遲及供應彈性。