OpenAI领导危机暴露GPT模型安全性亟待提升

Home AI News CN OpenAI领导危机暴露GPT模型安全性亟待提升

Updated on 十一月 1 2024

OpenAI的领导更迭引发了一场关于GPT模型开发过程中安全集成重要性的剧烈讨论。上周五，OpenAI董事会解除首席执行官山姆·奧特曼的职务，尽管此举引发了对AI安全的严重担忧，尤其是在高级架构师可能离任的背景下。此事件加深了企业用户对于GPT模型潜在风险的忧虑。

为了确保AI模型的持久性和可扩展性，安全性必须深度融入AI模型的开发过程中，而这仍未得到充分重视。据传，董事会对奥特曼的决定是由于他日益加快的产品和业务开发重点，这可能牺牲了公司的安全和保障承诺。这反映出AI治理的复杂局面，独立董事会越来越希望掌控安全措施，常常与增长压力产生冲突。

如果联合创始人伊利亚·苏茨基弗及其支持的独立董事能够承受来自投资者和奥特曼支持者的反对声音，那么以下安全问题的出现凸显了在GPT软件开发生命周期中尽早集成安全性的重要性。

数据隐私和泄露风险

著名的提示工程专家布莱恩·罗梅尔近期发现OpenAI的GPT模型存在漏洞，允许ChatGPT访问并显示会话提示和上传文件。他建议对GPT提示进行重要修改，以降低这些风险。OpenAI在三月确认并修复了一个开放源代码库的缺陷，该缺陷使用户能够查看其他活跃用户的聊天记录。该问题根源于Redis内存数据库存储用户信息，在九小时内意外暴露了1.2%的ChatGPT Plus用户的支付相关数据。

数据操纵和滥用案例增加

尽管提供了保护措施，但攻击者仍在调整策略以利用GPT会话。布朗大学的研究人员发现，通过使用较不常见的语言（如祖鲁语和盖尔语），成功绕过限制的几率显著提高。这些语言的成功率达到79%，而英语仅不到1%。他们的研究表明，使用如谷歌翻译等工具将不安全输入翻译成低资源语言可以有效规避安全措施，从而引发GPT-4的不当反应。

易受越狱攻击的风险

微软的研究表明，GPT模型容易受到操控，常常生成偏见输出并泄露私人信息。尽管GPT-4在基准测试中通常表现优于GPT-3.5，但它在受到设计用于规避安全措施的越狱提示时更容易受到攻击。研究人员通过脚本对话误导GPT-4V的逻辑，揭示了与多模态大语言模型（MLLM）相关的重要可利用风险。一项最新研究显示，通过自我对抗策略，攻击成功率高达98.7%。

多模态提示注入的安全威胁

支持图片上传的OpenAI GPT-4V面临由于潜在多模态注入攻击带来的新漏洞。对手通过在图像中嵌入恶意脚本，可以利用模型，导致未授权任务的执行。目前的LLM缺乏有效的数据清理步骤，导致它们对任何输入过于顺从，正如程序员西蒙·威利森所解释的那样。

持续安全集成是必要

随着团队争先发布下一代GPT模型，满足截止日期的压力常常掩盖了安全考虑。从开发早期阶段实施自动化安全协议至关重要。目标应该是提高代码部署率，同时降低安全风险并提升整体代码质量。安全必须成为软件开发生命周期（SDLC）的核心部分，结合量身定制的指标和工作流程，以应对GPT和LML独特的挑战。

高效的DevOps团队证明，在设计过程中尽早融入安全性能够更快部署和改善软件质量。鼓励DevOps和安全团队之间的更大协作，对于共同承担部署率、软件质量和安全指标的责任至关重要，这些都是评估两队绩效的关键指标。

通过在开发生命周期中优先考虑安全性，OpenAI可以应对当前的脆弱性，为其AI模型的更安全未来奠定基础。

OpenAI董事会任命Emmett Shear为临时首席执行官，因Altman复职尝试失败

OpenAI领导层变动：重视AI安全会影响公司的增长吗？

Most people like

Cursor - The AI-first Code Editor

28.7K

Cursor是一款高效的双人编程代码编辑器，融合了人工智能技术，旨在提升开发者的协作效率。

以AI为先 AI 代码助手

1min.AI

484.8K

探索多功能AI应用程序，集成多种AI模型，满足您的各种需求。

人工智能应用 AI 相片和图像生成器

RAGgenie

10.8K

轻松创建个性化的对话式聊天机器人和GenAI智能助手，提升用户体验和互动效率。

对话式人工智能无代码&低代码平台

Humanize AI Text Tool

将您的AI生成内容转化为自然、类人文本，借助终极的Humanize AI文本工具。这个AI转人类文本转换器轻松将ChatGPT、Bard、Jasper、Grammarly、GPT4及其他AI文本生成器的输出转换为与人类写作无法区分的文本。实现100%的原创性，并利用最佳Humanize AI解决方案提升您的内容创作。

AI到人类文本转换器人工智能重写器

Find AI tools in YBX