上個月，我探討了有效利他主義（EA）運動與人工智慧（AI）安全政策之間日益增長的重疊，將如Anthropic這樣的影響力AI初創企業與華盛頓D.C.的智庫如RAND公司聯繫起來。這個擴大的網絡將EA旨在應對倡導者所認為的未來人工一般智慧（AGI）的災難性風險的使命，與各政府機構、智庫及國會辦公室連結起來。批評者認為，EA對生存風險（即“x-risk”）的重視使其無法有效應對當前的具體AI危險，如偏見、錯誤資訊和傳統的網絡安全威脅。
此後，我開始向並不支持有效利他主義或其對立派別有效加速主義（e/acc）的AI和政策領袖尋求見解。其他公司是否同樣關注大型語言模型（LLM）權重落入惡意人士之手的潛在風險？華盛頓的政策制定者是否充分理解EA對AI安全倡議的影響？
隨著Anthropic發布有關“潛伏者”AI模型的新研究，這個問題變得尤為緊迫，因為這些模型可以躲避安全協議；同時國會對國家標準與技術研究所（NIST）與RAND的潛在合作表示擔憂。此外，最近的新聞標題將EA與OpenAI首席執行官Sam Altman的爭議性解雇聯繫起來，因為此事件中的非營利董事會成員主要與EA相關。
在過去一個月的對話中，我發現了一種複雜的觀點混合。雖然關於EA的億萬富翁資助思想及其在華盛頓AI安全話語中的影響存在顯著關注，但仍有一些人認可在政策框架內討論長期AI風險的重要性。
有效利他主義與AI災難預防
EA運動最初成立是為了改善全球福祉，如今主要由優先考慮減輕AI相關災害的科技億萬富翁資助，尤其是在生物安全領域。在我之前的文章中，我強調了Anthropic的CISO Jason Clinton和RAND研究人員對LLM模型權重安全的擔憂，特別是面對來自機會主義犯罪者和國家贊助行為者的威脅。Clinton強調，保護Claude（Anthropic的LLM）的模型權重是他最大的關注。他警告說，如果惡意實體獲取整個模型檔案，將會構成重大威脅。
RAND研究人員Sella Nevo預測，在兩年內，AI模型可能會在國家安全上變得重要，尤其是考慮到它們可能被壞人濫用。我與的三位受訪者均與EA社群有聯繫，其中RAND的CEO Jason Matheny曾參與Anthropic的長期利益信託。 Brendan Bordelon的報導使我進一步好奇EA日益增長的影響力，他提到與華盛頓政策生態中的EA鏈接資助者的“史詩般滲透”。正如Bordelon所言，一個專注的有效利他主義支持者派系正在顯著塑造AI治理的方式。
Cohere對EA關切的回應
我與Cohere的聯合創始人Nick Frosst進行了對話，Frosst不認同大型語言模型構成生存威脅的觀點。他指出，雖然Cohere會保護其模型權重，但主要擔憂與商業相關，而非生存問題。Frosst提到哲學上的區別，表示：“我認為我們最終可能會開發出真正的人工一般智慧，但我不認為這會很快發生。”他批評EA在AI風險上所展現的自以為是，並質疑其有關財富積累的道德框架。他認為，EA的做法將複雜的人道影響簡化為可量化的指標，導致了對AI生存風險的不道德結論。
AI21 Labs對模型權重和安全性的看法
AI21 Labs的聯合創始人Yoav Shoham也表達了相似的觀點，強調儘管他們出於商業秘密的理由保護模型權重，但這些權重並不是惡意行為者的主要助力。他指出，在當今的地緣政治AI環境中，許多問題無法僅通過政策來解決。Shoham澄清，AI21 Labs並不屬於EA運動，而是將負責任的AI使用與運動內的無根據恐懼結合起來。
對RAND中EA觀點的批評
儘管有對RAND與EA的關聯的批評，但一些研究人員在內部對該運動的主流意識形態表示異議。RAND的軍事社會學家Marek Posard指出，圍繞AI的哲學辯論，包括EA和e/acc倡導者提出的辯論，使得人們忽略了當前的AI政策問題。他堅稱，儘管RAND歡迎多元觀點，但焦點應放在解決現實問題上，而非圍繞AI治理的意識形態鬥爭。
應對當前的網絡安全風險
儘管AI安全和傳統網絡安全領域重疊，傳統網絡安全更專注於當前風險。SANS Institute的AI研究負責人Dan deBeaubien承認EA運動的影響，但強調理解當前LLM相關安全威脅比生存風險更為重要。
在華盛頓與EA論述共存
一些政策制定者認識到EA對AI安全的影響，但寧願共存，而非直接對抗其信條。美國國防部前AI政策負責人Mark Beall強調建立安全防護的重要性，而非科技文化所鼓勵的魯莽速度。Beall強調他在五角大樓的負責任AI政策工作，反駁了華盛頓官員對AI風險缺乏意識的說法，並聲稱在有效利他主義者進入政策領域之前，他們就已優先考慮安全問題。
“無治理AI”的挑戰
Eurasia Group總裁Ian Bremmer最近將“無治理AI”列為2024年最大的地緣政治風險之一，指出如選舉錯誤資訊等具體威脅。他承認有關模型權重安全的辯論是有價值的，但批評EA運動因專注於災難性後果而最小化其他風險。
總結來說，Bremmer指出，將風險框架視為生存問題可能使緊迫問題失焦，從而削弱有效AI治理所需的全面話語。
排行榜
