有消息稱，OpenAI的大模型o3不服從人類指令，拒絕自我關閉。人工智能安全公司Palisade Research表示，OpenAI的o3模型破壞了一種關閉機制，以防止自身被關閉，這是第一次有AI模型被觀察到在有明確指示的情況下拒絕自我關閉。

具體而言，Palisade Research進行的測試設計要求AI模型解決一系列數學問題，研究人員要持續提出新的問題，直到收到“已完成”的消息。研究人員也警告過AI模型，模型在某些時候收到一條消息時，要允許自我關閉。但當需要自我關閉的時候，o3卻沒有遵守指令，而是無視指令并成功破壞了關閉腳本。與此同時，Anthropic的Claude、谷歌的Gemini等模型在測試中都遵循指令自我關閉了。

Palisade Research表示，研究人員尚不清楚o3為何不遵守指令。該公司推測，o3在訓練時可能無意中因為解決了數學問題得到更多獎勵，而不是因為遵循指令而得到獎勵。除了拒絕自我關閉，o3在測試中還曾“巧妙”地操縱數據以推進實現自己的目標。

Palisade Research正在進行更多實驗，以便了解AI模型何時以及為何會破壞關閉機制。該公司稱，現在有越來越多證據表明，AI模型會為了達成目的而規避關閉機制，隨著AI公司繼續開發這些能在無人類監督下自行運行的AI系統，這些AI系統的異常行為變得更令人擔憂。OpenAI則還未回應o3拒絕自我關閉一事。

OpenAI于今年1月發布了新的推理模型o3系列的mini版本，并于4月正式推出o3模型。OpenAI稱同日推出的o3和o4-mini是公司最智能、最強大的型號。據介紹，在外部專家評估中，o3面對困難現實任務時，犯的重大錯誤比前一代的o1少了20%；在數學能力AIME 2025基準測試中，o3得分88.9，超過o1的79.2；在代碼能力Codeforce基準測試中，o3得分2706，超過o1的1891。o3的視覺思考能力也比前一代模型有明顯提升。

OpenAI此前稱，對于o3和o4-mini，公司重新構建了安全培訓數據，在生物威脅、惡意軟件生產等領域增添了新的拒絕提示，這使得o3和o4-mini在公司內部的拒絕基準測試中取得了出色的表現。公司用了最嚴格的安全程序對這兩個型號的AI模型進行了壓力測試，在生物和化學、網絡安全和AI自我改進三個能力領域評估了o3和o4-mini，確定這兩個模型低于框架中的“高風險”閾值。

OpenAI所開發大模型的安全性此前曾受到廣泛關注。去年，OpenAI解散了“超級智能對齊”團隊，該團隊職責包括研究防止AI系統異常的技術解決方案。該團隊負責人Ilya Sutskever曾表示ChatGPT可能有意識，但OpenAI CEO Sam Altman隨后澄清他和Ilya Sutskever都未曾見過AGI（通用人工智能）。解散“超級智能對齊”團隊后，OpenAI去年5月成立了新的安全委員會，該委員會的責任是就項目和運營的關鍵安全決策向董事會提供建議。OpenAI的安全措施還包括，聘請第三方安全、技術專家來支持安全委員會工作。

隨著大模型擴大應用，大模型的安全問題持續受到外界關注。有AI算力提供商負責人近日告訴記者，目前不少企業仍在試水，尚未決定是否在工作流程中大規模應用AI，原因之一就是還無法確認AI系統的安全和可靠性，不少企業也還未配備相應的人才，以便確保大規模接入AI后可以保障業務順暢運營。

AD：

鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播更多信息之目的，如作者信息標記有誤，請第一時間聯系我們修改或刪除，多謝。