一位美国人工智能政策专家最近提到：“如果你没有探索有效利他主义（EA）的影响，你就错过了重要的故事。”对这一点的反思让我意识到，自己在上周的报道中忽视了一个重要角度。
你准备好迎接人工智能代理了吗？
讽刺的是，我认为自己关于大型语言模型（LLM）权重保安问题的文章是一次简单的胜利。但近期白宫发布的人工智能行政命令要求基础模型公司记录对双重用途基础模型的所有权和安全措施，使得这一话题变得尤其重要。在我的文章中，我采访了Anthropic的首席信息安全官杰森·克林顿，他强调了确保Claude模型权重安全的必要性。他指出，犯罪分子、恐怖分子和国家在获取这些先进模型时构成的威胁，强调“如果攻击者访问了整个文件，他们就能控制整个神经网络。”其他前沿公司也对这一问题表示关切；OpenAI的新“准备框架”则强调了限制对敏感模型信息访问的必要性。
我还与兰德公司（RAND Corporation）的谢拉·内沃和丹·拉哈夫进行了交谈，他们撰写了一份重要报告《保护人工智能模型权重》。内沃领导着兰德的梅塞尔森中心，他警告说，AI模型很快可能在国家安全方面产生重大影响，包括在开发生物武器时的潜在滥用。
有效利他主义与人工智能安全的复杂关系
回想起来，我的文章没有探讨有效利他主义社群与不断发展的AI安全领域之间的复杂联系。这个遗漏尤其明显，因为EA这一智力运动越来越有影响力，强调使用理性和证据来造福人类，特别是在防范先进AI带来的生存风险方面。批评者认为，EA对这些遥远威胁的关注忽视了更紧迫的问题，如AI发展中的偏见、误信息和网络安全。
最近，由于OpenAI董事会参与解雇首席执行官山姆·奧特曼，EA再次成为头条新闻，这一事件突显了EA在高风险决策中的联系。尽管我知道Anthropic与EA的关系——FTX创始人山姆·班克曼-弗里德曾持有该公司的5亿美元股份——但我并没有深入调查EA对我的报道的影响。然而，在阅读了一篇恰好于次日发表的《政治家》文章后，我发现了RAND与EA之间的一些关键联系，包括重要的资金关系。
这篇文章透露，兰德公司研究人员在塑造白宫关于模型权重的行政命令中发挥了重要作用，而该组织则获得了来自Facebook联合创始人达斯汀·莫斯科维茨支持的有效利他主义倡议“开放慈善”超过1500万美元的资助。值得注意的是，兰德首席执行官杰森·马森尼和高级科学家杰夫·阿尔斯托特都是被认可的有效利他主义者，且以前曾与拜登政府有过联系。
来自有效利他主义社群的见解
在对内沃的后续谈话中，他提到有效利他主义在AI安全领域的强大存在并不奇怪。历史上，EA在讨论AI安全方面一直处于前沿，这意味着任何参与该领域的人都很可能接触过EA的观点。内沃还表达了对《政治家》文章语气的失望，认为它不公正地暗示了不当行为，同时也强调了兰德长期以来为政策制定者提供宝贵研究的角色。他强调，他和他的中心并未参与该行政命令，而涉及模型安全的条款是白宫事先确立的自愿承诺。
尽管梅塞尔森中心相对不为人知，内沃表示它只是兰德多个研究中心之一，专注于生物监测和人工智能与生物安全的交叉领域。
有效利他主义在人工智能安全中的重要性
EA的影响究竟重要吗？回想起杰克·尼科尔森的经典台词：“你需要我在那墙上！”这引发了一个问题：如果我们需要在AI安全领域中的敬业人员，他们的意识形态是否重要？
对于许多倡导AI透明度和有效政策的人来说，答案是肯定的。《政治家》关于EA在华盛顿影响力的报道突出显示，这些联系将显著塑造未来的政策、法规以及AI的发展。
我所交谈的美国AI政策专家指出，政策领域中的许多人忽视了AI中的潜在意识形态议程。不幸的是，他们低估了这些议程的影响。
排行榜
