OpenAI 與 Anthropic 合作,向美國人工智慧安全研究所分享 AI 模型,以提升安全性和監督。

OpenAI 和 Anthropic 已與新成立的美國 AI 安全研究所達成重要協議,共享其 AI 模型,無論在公開發佈之前或之後。該機構於 2023 年由拜登總統的行政命令成立,將提供關鍵的安全反饋,以改善這些公司的模型。OpenAI 首席執行官 Sam Altman 本月早些時候曾暗示這種合作。

儘管美國 AI 安全研究所尚未透露與其他 AI 相關的公司,但谷歌發言人表示,該公司正在與該機構進行討論,並將在適當時機提供更多詳情。值得注意的是,谷歌已開始在其 Gemini 程序下推出對其聊天機器人和圖像生成模型的更新。

美國 AI 安全研究所主任 Elizabeth Kelly 表示:「安全對於推進突破性的技術創新至關重要。通過這些協議,我們期待與 Anthropic 和 OpenAI 展開技術合作,以增強 AI 安全性。這些協議僅是我們負責引導 AI 未來努力的開始。」

美國 AI 安全研究所隸屬於國家標準技術局 (NIST),負責制定指導方針、基準測試和評估潛在危險 AI 系統的最佳實踐。副總統 Kamala Harris 在 2023 年底強調了 AI 的雙重影響,突出其既有重大進步的潛力,也存在嚴重風險,包括 AI 驅動的網絡攻擊和生物武器。

這項開創性協議通過一份不具約束力的諒解備忘錄正式化,使該機構能在公開發佈前後訪問每家公司的主要新模型。美國 AI 安全研究所將這些協議視為合作研究項目,專注於評估能力和確保安全。此外,該機構將與英國 AI 安全研究所合作。

隨著聯邦和州監管機構致力於制定 AI 安全措施,加州州議會最近通過了一項 AI 安全法案 (SB 10147)。該立法要求對開發成本超過 1 億美元或需要大量計算能力的 AI 模型進行安全測試,還要求 AI 開發者實施緊急關閉開關,以停用變得「難以控制或失控」的模型。

與與聯邦政府的自願協議不同,加州法案包含可執行條款,允許該州檢察長對不合規的 AI 開發者採取法律行動,特別是在關鍵威脅事件期間。該法案尚待最終投票及加州州長 Gavin Newsom 的簽署,後者需在 9 月 30 日之前批准。

Most people like

Find AI tools in YBX