OpenAI 發布 LifeSciBench,定位為一套貼近真實生命科學研究工作的 AI 評估基準。OpenAI 表示,現有許多生命科學評測偏向單一技能或結構化問答,未必能充分反映研究人員在不完整證據、矛盾結果、實驗設計、轉化風險及不確定性下作決策的實際情境。
LifeSciBench 包含 750 項由專家撰寫的任務,涵蓋七類工作流及七個生物學領域,並附有 1,062 個任務材料及 19,020 項評分準則。OpenAI 指出,任務由 173 名具博士級訓練及生物科技或製藥行業經驗的科學家建立,另經 453 名獨立專家審閱;評分不只看最終答案,也會檢視推理是否科學有效、是否有足夠理據及是否對研究決策有用。
OpenAI 在文章中提到,LifeSciBench 顯示前沿模型在科學綜合、溝通及結構化解讀方面相對較強,但在需要處理複雜圖表、序列、結構檔案或受實驗限制約束的任務上仍有明顯差距。對工程與建造團隊而言,這類評測雖屬生命科學領域,但其方法論可作為評估專業 AI 助手在高風險、證據密集工作中可靠性的參考。
本文根據 OpenAI 公開文章整理重寫;模型分數及基準細節以 OpenAI 原文及相關論文為準。