OpenAI与Anthropic合作,向美国人工智能安全研究所共享AI模型,提升安全性与监督能力

OpenAI和Anthropic达成了一项重要协议,将在其AI模型公开发布前后与新成立的美国AI安全研究所共享这些模型。该研究所由拜登总统于2023年签署的行政命令设立,旨在为公司模型提供重要的安全反馈,以便不断改进。OpenAI首席执行官山姆·奥特曼在本月早些时候暗示了这一合作。

虽然美国AI安全研究所没有提及其他与AI相关的公司,但谷歌发言人表示,该公司正在与该机构进行讨论,并将适时提供更多细节。值得注意的是,谷歌已开始根据Gemini计划对其聊天机器人和图像生成模型进行更新。

美国AI安全研究所所长伊丽莎白·凯利表示:“安全是推动突破性技术创新的基础。通过这些协议,我们期待与Anthropic和OpenAI进行技术合作,以增强AI的安全性。这些协议仅仅是我们负责任引导AI未来努力的开端。”

美国AI安全研究所隶属于国家标准与技术研究所(NIST),负责制定指导方针、基准测试和最佳实践,以评估潜在危险的AI系统。副总统卡马拉·哈里斯在2023年底强调了AI的双重影响,指出其既有推动重大进步的潜力,也带来严重风险,包括AI驱动的网络攻击和生物武器。

这项开创性协议通过一份非约束性的谅解备忘录正式化,使该机构能够在公开发布前后的任何时候访问每家公司的主要新模型。美国AI安全研究所将这些协议视为评估能力和确保安全的协作研究努力。此外,该机构还将与英国AI安全研究所进行合作。

在联邦和州监管机构努力建立AI安全措施之际,加利福尼亚州议会最近通过了一项AI安全法案(SB 10147)。该法案要求对开发成本超过1亿美元或需要大量计算能力的AI模型进行安全测试,同时要求AI开发者实施“杀死开关”,以关闭那些变得“难以控制或无法驾驭”的模型。

与与联邦政府的自愿协议不同,加州法案包括可强制执行的条款,允许该州总检察长在关键威胁事件中对不合规的AI开发者采取法律行动。该法案目前待最终投票处理,并且需要加文·纽森州长的签署,州长有直到9月30日的时间来批准它。

Most people like

Find AI tools in YBX