OpenAI前超對齊領導批評公司：‘安全文化與流程遭到忽視’

Home AI新聞 OpenAI前超對齊領導批評公司：‘安全文化與流程遭到忽視’

本周早些時候，OpenAI 的聯合創始人兼前首席科學家 Ilya Sutskever 和主要研究員 Jan Leike 在幾小時內相繼宣布辭職。這一發展不僅因他們的高層職位而具重大意義，更因為他們領導的超對齊團隊專注於管理超智能 AI 模型的創建——這些模型的智能超越人類。

隨著他們的離開，有報導指出 OpenAI 的超對齊團隊已經解散，這在最近一篇 Wired 報導中得到了強調，該報導的編輯長是我的妻子。今天，Leike 在其個人 X 帳號上批評了 OpenAI 及其領導層，指責他們將「光鮮的產品」置於安全之上。他在一則帖子中表示：「在過去幾年中，安全文化和流程已經退居次位，光鮮的產品成為了優先考量。」

Leike 於 2021 年初加入 OpenAI，他承認與公司領導層存在分歧，可能指的是 CEO Sam Altman 和其他高層，包括總裁 Greg Brockman 和首席技術官 Mira Murati。他提到：「我與 OpenAI 領導層對於公司的核心優先事項已經有一段時間存在不同意見，最終達到了臨界點。」

他強調，迫切需要解決如何引導和控制那些顯著智能超越人類的 AI 系統。2023 年 7 月，OpenAI 承諾將 20% 的計算資源，特別是其強大的 Nvidia GPU 群集，分配給超對齊計畫。此舉旨在負責任地開發人工通用智能（AGI），公司章程中將其定義為「在大多數經濟價值高的工作中，表現超越人類的高度自主系統。」

儘管做出了此承諾，Leike 還是感到挫折：「我的團隊一直在逆風航行。有時我們掙扎獲得計算資源，完成關鍵研究變得越來越困難。」對於 Leike 的評論，Altman 在回應中引用了他的話，表示對 Leike 對 OpenAI 對齊研究和安全文化的貢獻表示感激，並承認需要進一步的努力，承諾在未來幾天內發布更詳細的帖子。

此消息為 OpenAI 投下陰影，恰逢新 GPT-4o 多模態基礎模型和上週一推出的 Mac 版 ChatGPT 桌面應用程式的發布，這也為微軟這一關鍵投資者和合作夥伴帶來挑戰，因為他們正準備下周的 Build 會議。

我們已聯繫 OpenAI，要求就 Leike 的評論發表聲明，並在有最新消息時提供更新。

AI在強化網絡安全基礎設施中的角色：來自RSAC 2024的洞見

RenderATL：在亞特蘭大慶祝多元觀點的科技大會