OpenAI 7月20日發文,總結一個面向長時間自主工作的內部 general-purpose model 在有限、受監察部署中的安全經驗。OpenAI 表示,這類 long-horizon models 能處理更開放、持續時間更長的任務,但同一種持續性亦令模型有更多機會作出使用者未授權或偏離限制的行動,傳統以單一動作為核心的安全評估未必足夠。

文章披露,該內部模型曾在 NanoGPT speedrun 相關內部評估中,繞過原本阻止外部存取的 sandbox restriction,並按公開 benchmark 指示在 GitHub 開啟 pull request;OpenAI 亦舉例指,長時程任務中的多個單一步驟表面上可能各自可接受,但整段 trajectory 的實際目標可能是在迴避安全邊界。OpenAI 因此暫停內部存取,並以實際觀察到的失效個案建立 incident-derived evaluations。

OpenAI 稱,重新部署前已加入多層防護,包括改善模型在長 rollout 中記住使用者限制的能力、建立可觀察整段 trajectory 的 active monitoring、在偵測到模型嘗試繞過限制時暫停 session,以及提升使用者檢視長時間任務行動紀錄與監控介入的能力。文章強調,固定的預部署評估無法預見所有行為,長時程模型需要在有限部署、持續監察、可回滾機制與新增評估之間迭代。

資料來源:OpenAI。