上个月，我研究了有效利他主义（EA）运动与人工智能安全政策之间日益交织的关系，重点关注了与华盛顿特区智库如兰德公司（RAND Corporation）相连的重要人工智能初创企业（如Anthropic）。这个不断扩展的网络将EA应对未来人工通用智能（AGI）所带来的灾难性风险的使命，与各种政府机构、智库及国会办公室融合在一起。
批评者认为，EA强调生存风险（即“x风险”）可能会分散对当前具体AI威胁的关注，例如偏见、错误信息和常规网络安全问题。此后，我开始向AI和政策领域的一些领袖征求意见，这些人并不与有效利他主义或其对立派别有效加速主义（e/acc）对齐。其他公司是否同样担心大型语言模型（LLM）的权重可能落入恶意之手？华盛顿的政策制定者是否充分理解EA对AI安全倡议的影响？
随着Anthropic最新研究发布，揭示“卧底代理”AI模型规避安全协议，同时国会对国家标准与技术研究院（NIST）与RAND之间潜在合作表示担忧，这一调查愈发紧迫。此外，近期头条新闻聚焦于EA与OpenAI首席执行官山姆·奥特曼（Sam Altman）被解雇的争议，因为参与该决策的非营利董事会成员大多与EA有关。
通过过去一个月的对话，我发现了复杂多样的观点。一方面，许多人对EA背后的亿万富翁意识形态及其对华盛顿AI安全话语的影响表示担忧；另一方面，部分人这也承认在政策框架内探讨长期AI风险的重要性。
有效利他主义与AI灾难预防
EA运动最初成立是为了改善全球福祉，但现今主要由那些优先考虑缓解AI相关灾害的科技亿万富翁资助，尤其是在生物安全方面。我在之前的文章中提到，Anthropic的首席信息安全官杰森·克林顿（Jason Clinton）及RAND研究人员对LLM模型权重的安全性表示担忧，尤其是针对投机犯罪分子和国家赞助者的威胁。
克林顿指出，保护Anthropic的LLM“Claude”的模型权重是他最重要的工作。他警告称，若恶意实体获取整个模型文件，可能会造成重大威胁。RAND研究员塞拉·内沃（Sella Nevo）预计，未来两年内，AI模型可能与国家安全相关，尤其是在其被坏人滥用的情况下。
我与的三位受访者都与EA社区有联系，RAND的首席执行官杰森·马森（Jason Matheny）曾参与Anthropic的长期利益信托。布伦丹·博尔登（Brendan Bordelon）报道中提到EA相关资金在华盛顿的政策领域渗透，称之为“史诗级渗透”，这促使我深入探讨EA日益增长的影响力。博尔登指出，有一部分致力于有效利他主义的支持者正在显著改变AI治理的方式。
Cohere对EA担忧的回应
我与Cohere的联合创始人尼克·弗罗斯特（Nick Frosst）进行了交谈，他不同意大型语言模型构成生存威胁的观点。他强调，尽管Cohere保护其模型权重，但主要关注仍是商业风险，而非生存风险。
弗罗斯特指出了一种哲学上的区别，认为“我们最终可能会发展出真正的人工通用智能，但我不相信这会很快实现。”他批评EA对AI风险的自以为是，并质疑其关于财富积累的道德框架，认为EA简化复杂的人道影响为可量化的指标，从而导致对AI生存风险的道德判断存在问题。
AI21 Labs对模型权重和安全的看法
AI21 Labs的联合创始人约阿夫·肖汉（Yoav Shoham）也表达了类似的观点，强调虽然他们因商业秘密保护模型权重，但这些权重并不是恶意行为者的主要工具。肖汉指出，在当今地缘政治的AI环境中，大多数问题不能仅通过政策来解决。
他明确表示，AI21 Labs并不属于EA运动，并认为该运动中存在无端恐惧与负责任的AI使用的结合。
对EA观点的RAND内部批评
尽管RAND因与EA的关联受到批评，一些研究人员内部对该运动的主流意识形态持有异议。RAND军事社会学家马雷克·波萨德（Marek Posard）指出，关于AI的哲学辩论，尤其是由EA和e/acc倡导者发起的，分散了对当前AI政策的关注。
他声称，尽管RAND欢迎多元的观点，但重点应放在解决实际问题上，而不是围绕AI治理的意识形态战争上。
应对当今网络安全风险
尽管AI安全与传统网络安全领域有所重叠，传统网络安全更关注当下的风险。SANS研究所人工智能研究负责人丹·德博比安（Dan deBeaubien）承认EA运动的影响，但他强调要理解当前与LLM相关的安全威胁，而非生存风险。
与EA话语共存于华盛顿
一些政策制定者认识到EA在AI安全领域的影响，但更倾向于共存，而非直接对抗。前美国国防部AI政策负责人马克·比尔（Mark Beall）强调，建立保障的重要性，而非科技文化中所鼓励的鲁莽速度。
他指出，自己在五角大楼负责负责任AI政策的工作，反驳了华盛顿官员对AI风险缺乏了解的说法，强调早在有效利他主义者进入政策领域之前，他们就已优先考虑安全。
对“无治理AI”的挑战
欧亚集团总裁伊恩·布雷默（Ian Bremmer）近期将“无治理AI”列为2024年十大地缘政治风险之一，尤其指出选举错误信息等实际威胁。他认可关于模型权重安全的重要辩论，但批评EA运动通过仅关注灾难性结果而淡化其他风险。
最后，布雷默指出，将风险框架设为生存性风险可能会掩盖紧迫问题，削弱对有效AI治理所需的全面讨论。
排行榜
