OpenAI 於7月29日發布工程文章,說明 GPT-5.6 系列不只在模型訓練上追求能力與成本平衡,亦透過 inference stack 與 agentic harness 的系統優化,提升每個 token 可完成的工作量。OpenAI 表示,GPT-5.6 Sol 在 max reasoning 下,在 Artificial Analysis Coding Agent Index 的表現高於 Claude Fable 5,而成本低於其一半;Terra 則以較低價格達到接近 GPT-5.5 的 benchmark 表現,Luna 定位為速度與成本優先的模型。
技術層面,文章列出多個效率來源,包括 global 與 cluster 內的 routing / load balancing、forward pass 與 GPU kernels 優化、speculative decoding、KV cache 管理,以及針對不同 workload 的 engine / model configuration 調校。OpenAI 稱,GPT-5.6 Sol in Codex 曾協助分析 production traffic、改寫 production kernels,相關 kernel 及 serving 優化令 end-to-end serving costs 減少約20%;由 GPT-5.6 Sol 改良 draft model 的 speculative decoding 則令 token-generation efficiency 增加超過15%。
文章亦把效率問題延伸至代理工作流:ChatGPT Work 與 Codex 會在單一任務中反覆發出模型請求與工具呼叫,因此 harness 需避免 context bloat、保留 append-only history 以利 prompt caching,並以 deterministic tool ordering、runtime settings 分離及工具輸出上限等方式,減少重複處理成本。對企業及工程團隊而言,這反映大型 AI 代理的實際成本控制不只取決於模型單價,也取決於 context 管理、cache hit rate、工具治理與執行環境設計。
資料來源:OpenAI。