OpenAI發布CoT思維鏈研究成果，監控阻止大模型惡意行為快訊
導讀
從而阻止 AI 大模型胡說八道、隱藏真實意圖等行為，遠超僅監控行為的 60%，OpenAI 使用了最新發布的前沿模型 o3-mini 作為被監控對象。
3 月 11 日消息，OpenAI 今日公布了其最新研究，試圖用 CoT（思維鏈）監控的方式監控推理模型的“想法”，從而阻止 AI 大模型胡說八道、隱藏真實意圖等行為，同時這也是監督超級模型的有效工具之一。
注：AI 偶爾會胡說八道，我們一般稱其為 AI 幻覺。除此之外，AI 還會偷懶或故意耍壞，例如在問題太難時欺騙用戶或干脆放棄。
OpenAI 使用了最新發布的前沿模型 o3-mini 作為被監控對象，并以較弱的 GPT-4o 模型作為監控器。測試環境為編碼任務，要求 AI 在代碼庫中實現功能以通過單元測試。
結果顯示，CoT 監控器在檢測系統性“獎勵黑客”行為時表現卓越，召回率高達 95%，遠超僅監控行為的 60%。（問舟）
1.TMT觀察網遵循行業規范，任何轉載的稿件都會明確標注作者和來源；
2.TMT觀察網的原創文章，請轉載時務必注明文章作者和"來源：TMT觀察網"，不尊重原創的行為TMT觀察網或將追究責任；
3.作者投稿可能會經TMT觀察網編輯修改或補充。
