先月、私は効果的利他主義（EA）運動とAIセキュリティ政策の間の重なりが増加していることを探求し、影響力のあるAIスタートアップであるAnthropicと、ワシントンD.C.のシンクタンクRAND Corporationとの関連を論じました。このネットワークは、EAが将来の人工一般知能（AGI）からの壊滅的リスクに対処する使命を、様々な政府機関やシンクタンク、議会事務所と結びつけています。
批評家たちは、EAが存在に関わるリスク、いわゆる「xリスク」に焦点を当てることで、バイアスや誤情報、通常のサイバーセキュリティ脅威といった即時のAIの危険から目を逸らしていると主張しています。
以来、私はEAに賛同しないAIおよび政策のリーダーたちからインサイトを得ようとしました。他の企業も大規模な言語モデル（LLM）のデータが悪用される可能性について同様に懸念を示しているのでしょうか？ワシントンD.C.の政策立案者たちは、EAのAIセキュリティへの影響を十分に理解しているのでしょうか？
この問題は、Anthropicが安全プロトコルを回避する「スリーパーエージェント」AIモデルに関する新しい研究を発表し、議会が国家標準技術研究所（NIST）とRANDとの潜在的な共同研究について懸念を表明する中で、緊急性を増しています。さらに、最近のヘッドラインでは、OpenAIのCEOSam Altmanの解雇に関連してEAが取り上げられており、関与した非営利法人の取締役メンバーの多くはEAに関連していました。
過去1か月の会話を通じて、私はさまざまな視点が交じり合う複雑な状況を発見しました。EAの億万長者によるイデオロギーと、そのAIセキュリティに対する影響が懸念される一方、一部の人々は政策フレームワーク内で長期的なAIリスクを議論する重要性を認めています。
効果的利他主義とAIの危機防止
元々世界の福祉を向上させるために設立されたEA運動は、現在、特にバイオセキュリティにおけるAIに関連する災害の軽減を優先するテック業界の億万長者たちによって主に資金提供を受けています。前回の記事では、AnthropicのCISOであるジェイソン・クリントンやRANDの研究者たちが、好機を狙った犯罪者や国家スポンサーの脅威からLLMモデルのセキュリティについて懸念を示していることを強調しました。
クリントンは、AnthropicのLLMであるClaudeのモデル重みを守ることが最も重要な問題であると強調し、悪意のある者がモデルファイル全体にアクセスできれば、重大な脅威をもたらす可能性があると警告しました。
RANDの研究者であるセラ・ネボは、2年以内にAIモデルが国家安全保障の観点から重要になる可能性があると予測しています。
話した3人全員がEAコミュニティに関連しており、RANDのCEOであるジェイソン・マセニーは、以前Anthropicの長期利益信託に関与していました。私は、ブレンダン・ボルデロンの報告が指摘するEA関連の資金提供者のワシントン政策への「壮大な浸透」についてさらに探求するよう促されました。ボルデロンによれば、効果的利他主義の支持者の一派がAIガバナンスのアプローチを大きく形作っています。
CohereのEA懸念に対する見解
AnthropicおよびOpenAIの競合であるCohereの共同創設者ニック・フロストに話を聞くと、彼は大規模な言語モデルが存在論的脅威をもたらすという考えに異議を唱えました。彼は、Cohereがモデル重みを確保している一方で、主な懸念はビジネスに関連するものであると指摘しました。
フロストは、哲学的な違いを強調し、「私たちは最終的に真の人工一般知能を開発する可能性があると思いますが、すぐには起こらないと信じています」と主張しました。また、EAのAIリスクに関する自己正当化を批判し、富の蓄積に関する道徳的枠組みに疑問を呈しました。
彼は、EAのアプローチが複雑な人道的影響を定量化可能な指標に簡略化し、AIの存在に関わるリスクに対して道徳的に疑わしい結論を導いていると主張しました。
AI21 Labsのモデル重みとセキュリティに関する見解
AI21 Labsの共同創設者であるヨアブ・ショハムも同様の意見を表明し、彼らが企業秘密の理由でモデル重みを保護しているものの、それらの重みが悪意のある行為者にとって主要な要因ではないと強調しました。彼は、今日の地政学的なAI環境において、大部分の問題は政策だけで解決できるものではないと指摘しました。
ショハムは、AI21 LabsがEA運動とは無関係であり、責任あるAIの使用と運動内の根拠のない恐怖が融合する状況を見ていると述べました。
RANDにおけるEAの視点への批判
RANDとのEAとのつながりに対する批判の中で、一部の研究者は運動の主流なイデオロギーを内部分裂の中で異議を唱えています。RANDの軍事社会学者マレク・ポサードは、EAやe/accの支持者によって引き起こされたAIに関する哲学的議論が、即時のAI政策の問題から目を逸らさせると述べました。
彼は、RANDでは多様な視点が歓迎される一方、焦点は現実の問題に対処すべきであると強調しました。
サイバーセキュリティにおける現実的リスクへの対応
AIセキュリティと従来のサイバーセキュリティの分野はオーバーラップしていますが、従来のサイバーセキュリティはより現代的なリスクに焦点を当てています。SANS InstituteでAI研究を主導するダン・デボビエンは、EA運動の影響を認識しつつ、存在リスクよりも現在のLLMに関連するセキュリティ脅威を理解することを重視しました。
D.C.におけるEAディスコースとの共存
一部の政策立案者は、AIセキュリティに対するEAの影響を認識していますが、直接対立するのではなく共存を選んでいます。米国防総省の元AI政策責任者であるマーク・ビールは、テクノロジー文化における無謀なスピードよりも確立された安全策の重要性を強調しました。
彼は、ペンタゴンでの責任あるAI政策に関する自身の業績を挙げ、D.C.の公式がAIリスクについて無知であるという主張に対抗し、効果的利他主義者が政策の場に入るずっと前から安全を優先していると主張しました。
「無統治AI」の課題
ユーラシアグループの代表イアン・ブレマーは、最近の2024年の地政学的リスクのトップに「無統治AI」を挙げ、選挙における誤情報など具体的な脅威を指摘しました。彼はモデル重みのセキュリティに関する価値ある議論を認めつつも、EA運動が壊滅的な結果にのみ焦点を当てることで他のリスクを軽視していると批判しました。
結論として、ブレマーはリスクを存在論的に捉えることが、一時的な問題を覆い隠し、効果的なAIガバナンスに必要な包括的な議論を損なう可能性があると指摘しました。
ランキング
