Protect AI通过开源收购举措强化大型语言模型（LLM）安全性

Home AI News CN Protect AI通过开源收购举措强化大型语言模型（LLM）安全性

确保人工智能和机器学习工作流程的安全：保护AI的创新方式

确保人工智能（AI）和机器学习（ML）工作流程的安全是一项复杂的挑战，涉及多个组件。位于西雅图的初创公司Protect AI正在通过收购Laiyer AI来应对这一挑战，后者是LLM Guard开源项目的领先公司。此次交易的财务细节尚未披露，此次收购将增强Protect AI的平台，使其更好地保护组织免受大型语言模型（LLM）潜在风险的影响。

Radar：全面的AI安全解决方案

Protect AI的核心商业平台Radar提供AI/ML模型的可视化、检测和管理功能。在2023年7月成功完成3500万美元的A轮融资后，公司计划扩大其AI安全策略。Protect AI的创始人兼总裁Daryan Dehghanpisheh表示：“我们希望推动行业采用MLSecOps，帮助组织识别、理解和管理与AI相关的风险和安全漏洞。”

Laiyer AI和LLM Guard的增强功能

Laiyer AI管理的LLM Guard项目为LLM操作提供治理，具有保护措施以防止提示注入攻击，这在AI应用中日益受到关注。此外，LLM Guard还能降低个人身份信息（PII）泄露和有害语言的风险。在输出方面，它能保护用户免受各种威胁，包括恶意链接。Dehghanpisheh重申Protect AI将继续保持LLM Guard为开源项目，同时计划推出商业产品Laiyer AI，以提供增强性能和企业功能。此外，Protect AI将把LLM Guard技术整合到其更广泛的平台中，确保在AI模型开发和部署的各个阶段提供保护。

基于开源经验的构建

Protect AI从开源项目到商业产品的转型在其领导的ModelScan开源项目中得以体现，该项目用于识别ML模型中的安全风险。这项技术支撑着Protect AI最近推出的Guardian技术，旨在扫描ML模型中的漏洞。

扫描模型的漏洞比传统病毒扫描更加复杂；因为ML模型没有特定的已知漏洞可以识别。Dehghanpisheh指出：“模型是一段自执行的代码，恶意可执行调用很容易被嵌入，带来重大风险。” Protect AI的Guardian技术旨在检测这些威胁。

迈向全面的AI安全平台

Dehghanpisheh设想Protect AI超越单一的安全产品。在当前环境中，组织通常使用来自多个供应商的各种技术。Protect AI计划在Radar平台内统一其工具，与现有的安全工具（如SIEM系统）无缝集成。Radar为AI模型中的组件提供全面概览，这对于治理和安全至关重要。借助Guardian技术，Protect AI能够在部署前识别潜在风险，而LLM Guard则减少使用风险。最终，Protect AI致力于提供全面的企业AI安全解决方案，让组织能够从统一的平台上管理所有AI安全策略。

“您将拥有一项全面的企业级AI安全政策，”Dehghanpisheh总结道。

2023年回顾：企业生成式人工智能的关键洞察与未来趋势分析

思科AI准备度指数：雄心超越当前AI准备水平