OpenAI七月八日發表對SWE-Bench Pro的審核，指這個用於評估agentic coding能力的基準存在顯著資料品質問題。OpenAI表示，其資料點分析流程在731個公開任務中標示200個（27.4%）疑似破損任務；人類標註活動則識別249個（34.1%）有問題任務，因此估計約三成任務不再能提供可靠訊號。

OpenAI把主要問題歸納為四類：測試過度嚴格，要求未在題目中說明的實作細節；提示不足，隱藏測試要求未能合理推斷；測試覆蓋度低，令不完整修補仍可通過；以及題目提示誤導模型走向錯誤行為。OpenAI稱，這些缺陷可能令模型能力評估出現偏差，進而影響部署、安全及研究優先次序判斷。

值得注意的是，OpenAI曾在批評SWE-bench Verified後建議社群轉向SWE-Bench Pro；今次審核後，OpenAI明確撤回該建議。對使用AI coding benchmark評估模型或工程代理工具的團隊而言，這反映單看排行榜分數風險增加，仍需審視測試設計、任務語義及實際工程場景是否一致。