Lasso安全发布创新方案，以保护大型语言模型(LLM)的安全性

Home AI News CN Lasso安全发布创新方案，以保护大型语言模型(LLM)的安全性

Updated on 十一月 19 2023

大型语言模型在网络安全中的天真性

尽管大型语言模型（LLMs）技术复杂，但它们在网络安全问题上常常表现出令人意外的天真。通过巧妙的提示，这些模型可能无意中泄露敏感信息、生成恶意代码或产生偏见输出，从而引发严重的伦理担忧。

Lasso Security的联合创始人兼首席执行官Elad Schulman强调了这一危险：“尽管它们功能强大，但LLMs不应被无条件信任。它们的先进能力使其容易受到各种安全漏洞的攻击。”Lasso Security最近获得了来自Entrée Capital和Samsung Next的600万美元种子资金，旨在应对这些挑战。“LLM革命可能超过云计算和互联网革命的结合。随着重大进展，风险也随之增加。”

安全隐患：越狱、数据泄漏与毒化

LLMs迅速成为企业争夺竞争优势的重要工具。然而，由于其对话式和非结构化的特性，使得这些模型容易受到利用。通过使用提示注入或越狱等技巧，攻击者可以诱导模型披露其训练数据和敏感组织信息。

风险不仅限于恶意攻击。员工的误用，如三星因数据泄漏而决定禁止生成性AI工具，突显了意外数据暴露的潜在风险。Schulman指出：“由于LLM生成的内容可能会受到提示输入的影响，用户可能会无意中获取模型的额外功能。”

数据毒化是另一个重大问题；被篡改的训练数据可能带来偏见，危及安全和道德标准。此外，LLM输出的验证不足可能导致严重的安全漏洞。根据OWASP的说法，未监控的输出可能使系统暴露于诸如跨站脚本（XSS）、跨站请求伪造（CSRF）和远程代码执行等重大威胁。

OWASP还指出了其他问题，例如模型服务拒绝攻击，攻击者通过大量请求使LLMs瘫痪，造成服务中断，以及来源于软件供应链中第三方组件的漏洞。

警惕过度依赖

专家强调，单靠LLMs获取信息的危险，可能导致错误信息和安全漏洞。例如，在所谓的“包幻觉”过程中，开发者可能请求LLM建议特定代码包，却可能收到虚构的推荐。恶意行为者随后可能利用这种幻觉创建有害代码，从而获得对公司系统的访问权限。

“这种误用利用了开发者对AI驱动推荐的信任，”Schulman警告道。

监控LLM互动以确保安全

Lasso的技术可以拦截员工与LLMs（如Bard和ChatGPT）之间的互动，以及与Grammarly和IDE插件等工具的集成。通过建立可观察性层，Lasso捕获并分析LLMs之间的数据流，利用先进的威胁检测技术识别异常情况。

Schulman建议组织首先识别正在使用的LLM工具，然后分析它们的应用和目的。“这些步骤将引发对必要保护措施的深入讨论，”他说。

Lasso Security的关键特性

- 影子AI发现：识别活跃工具、用户及见解。

- LLM数据流监控：跟踪和记录组织内部的所有数据传输。

- 实时检测与警报：即时获取潜在威胁的见解。

- 阻断与保护：确保所有提示和生成的输出符合安全政策。

- 用户友好的仪表板：简化LLM互动的监控与管理。

安全利用技术

Lasso通过提供专注于LLM安全的全面解决方案而脱颖而出，而非单一功能。Schulman指出：“安全团队可以控制每一次LLM交互，使其能够创建和实施量身定制的政策。”

组织必须以安全的方式拥抱LLM技术，因为完全禁止是不现实的。“没有专门的风险管理策略，未能采用生成性AI的企业将处于劣势，”Schulman解释说。最终，Lasso希望为组织提供必要的安全工具，使其能够利用尖端技术而不妥协其安全姿态。

微软招募山姆·奧特曼、格雷格·布罗克曼及OpenAI团队，推出创新AI计划

AI社群对以色列-哈马斯冲突的分歧观点分析

Most people like

PetsApp

76.7K

欢迎来到一家专注于兽医服务的互动平台。这里汇聚了兽医专业人士与宠物主人，旨在提高宠物健康护理的沟通与参与度。无论您是寻求专业建议还是想分享经验，我们的平台都是您获得支持与信息的理想之地。

兽医参与医疗健康工具

Skcript

GenAI咨询与企业AI产品的新时代。随着人工智能技术的迅猛发展，越来越多的企业开始重视如何高效地整合AI解决方案，以提升运营效率和业务创新。在这个快速变化的市场环境中，GenAI咨询成为企业实现AI转型的重要伙伴。我们提供针对性的策略和行动方案，帮助企业在竞争中脱颖而出，充分利用AI的潜力。

生成式人工智能咨询其他

A1.art

1.4M

探索和发现人工智能艺术应用程序的平台。

人工智能艺术 AI艺术生成器

Course Decode

33.2K

学位与毕业生职业成果的人工智能分析是一个深入探讨教育与职业匹配的重要领域。通过运用先进的人工智能技术，我们能够精准评估不同学位对毕业生职业发展的影响，以及这些影响如何在不断变化的就业市场中显现。这一分析不仅为学生选择学位提供参考，还为教育机构优化课程设置和提高毕业生就业率提供有价值的洞见。

职业前景 AI课程

Find AI tools in YBX