OpenAI研究人员呼吁“警告权”，以应对安全风险，迫切要求采取措施防止“人类灭绝”

Home AI News CN OpenAI研究人员呼吁“警告权”，以应对安全风险，迫切要求采取措施防止“人类灭绝”

一组由11名研究人员组成的团队，包括OpenAI的现任和前任员工，以及Google DeepMind的一名成员和Anthropic的前研究员，发布了一封公开信，呼吁人工智能公司采取四项原则，以保护提出安全问题的举报人和批评者。

这封信名为《警告权》，强调了与人工智能技术相关的严重风险，指出：“这些风险包括加剧现有不平等、操控与误导信息，以及可能失控的自主人工智能系统，这些都可能导致人类灭绝。”

信中提出的主要担忧包括监管不足、以利润为驱动的动机，以及在开发先进人工智能技术的组织内压制不同声音。

为了解决这些问题，签署者提议人工智能公司遵循以下四项原则：

1. 不得执行限制批评性评论的协议，或因提出风险关切而对个人进行报复。

2. 建立一个保密且可验证的流程，以向公司董事会、监管机构及独立组织报告与风险相关的问题。

3. 培养透明文化，鼓励员工公开讨论潜在风险，同时保护商业机密。

4. 禁止对在其他报告方法无效后披露机密风险信息的员工进行报复。

这封信于今天在《纽约时报》上发布，获得了人工智能领域领导者如Yoshua Bengio、Geoffrey Hinton和Stuart Russell的支持。值得注意的签署者包括前OpenAI员工Jacob Hilton、Daniel Kokotajlo、William Saunders和Daniel Ziegler，以及Google DeepMind的Ramana Kumar和目前在DeepMind工作的Neel Nanda。

在文章发布后的X（原Twitter）上，Kokotajlo就他辞去OpenAI职务的原因进行了详细阐述，他提到对公司在负责任的人工智能开发方面的承诺失去了信心，并强调需要更大的透明度和道德标准来推动人工智能技术的发展。

Kokotajlo透露，他放弃了已获权益，以便自由地批评公司，并表示失望的是，OpenAI在其系统发展过程中没有优先考虑安全研究。他还提到，离开时被要求签署一份不诽谤协议，他认为这种做法不道德。

这些主张在公开的文件显示出OpenAI的做法后被提出，包括对前员工的强迫措施。然而，OpenAI表示不会执行通常在科技行业常见的保密协议。

这封信的发布适逢OpenAI动荡时期，该公司自2023年11月因与董事会的沟通问题而争议性解雇首席执行官Sam Altman后，经历了重新上任的过程。尽管投资者施压使Altman迅速复职，但一些董事会成员仍对公司问责和透明度表示担忧，这一问题也引起了多个公众人物的批评，包括Scarlett Johansson，她指责公司在未获得同意的情况下滥用她的声音。

尽管面临挑战，公司仍试图通过成立新的安全和安保委员会来解决安全问题，旨在推动其最新人工智能模型的培训。

---

《警告权》完整信件内容：

关于先进人工智能的警告权

我们是前沿人工智能公司的现任和前任员工，坚信人工智能技术能为人类带来前所未有的益处。

然而，我们也意识到这些技术所带来的严重风险，包括加剧不平等、促进操控与误导信息、以及可能导致对自主人工智能系统失控而产生灾难性后果。

人工智能公司、各国政府和全球专家都承认这些风险。我们希望在科学界、政策制定者和公众的充分指导下，这些风险能够得到缓解。然而，显著的经济激励常常妨碍有效的监管。

AI公司掌握着其系统能力和风险的重要非公开信息，但对政府或公民社会披露此信息的义务较弱。因此，目前和以前的员工在确保问责方面至关重要，而保密协议往往使我们沉默。常规的举报者保护措施无法完全应对许多未受监管的风险。

我们呼吁先进人工智能公司承诺以下原则：

1. 不得执行防止与风险相关的批评的协议，或因相关评论对员工进行报复。

2. 建立一个保密流程，让员工能够向董事会、监管机构和合格的独立组织报告风险。

3. 支持开放批评的文化，允许员工公开提出关切，同时保护商业机密。