OpenAI為GPT-6改善prompt caching 新增Dashboard與診斷工具

OpenAI於9月22日發文介紹GPT-6的prompt caching改進，指持久agent在長時間任務中會反覆沿用相同指令、工具定義及上下文，因此更高cache hit rate可直接降低回應時間及輸入token成本。OpenAI表示，GPT-6系列會在30分鐘窗口內對合資格的共用prefix提供cached input折扣，最高可為cached input tokens節省90%。

今次更新亦加入Prompt Caching Dashboard，讓開發者查看cache hit rate及cached／uncached input token組成；cache diagnostics工具則用於分析cache miss原因，例如模型、工具、設定或輸入變動。OpenAI同時提供explicit cache breakpoints、cache prewarming，以及在不破壞cache的情況下調整reasoning effort和工具可用性的做法。對企業API、coding agent及AEC內部自動化流程而言，這類工具有助把長上下文agent的成本控制由事後估算轉為可監測、可調校的工程指標。