Segurança em Fluxos de Trabalho de IA e ML: Protegendo a Abordagem Inovadora da IA
A segurança dos fluxos de trabalho de inteligência artificial (IA) e aprendizado de máquina (ML) apresenta um desafio multifacetado que envolve diversos componentes. A startup Protect AI, com sede em Seattle, está enfrentando esse desafio com a recente aquisição da Laiyer AI, empresa líder do projeto open-source LLM Guard. Os detalhes financeiros da transação não foram divulgados. Essa aquisição fortalecerá a plataforma da Protect AI para proteger melhor as organizações contra os potenciais riscos associados aos grandes modelos de linguagem (LLMs).
Radar: Uma Solução Abrangente de Segurança para IA
A plataforma comercial central da Protect AI, Radar, oferece visibilidade, detecção e gerenciamento para modelos de IA/ML. Após um bem-sucedido financiamento de $35 milhões na rodada de Série A em julho de 2023, a empresa pretende expandir suas iniciativas de segurança em IA. Daryan Dehghanpisheh, presidente e fundador da Protect AI, declarou: “Queremos impulsionar a indústria a adotar o MLSecOps, que ajuda fundamentalmente as organizações a ver, entender e gerenciar riscos e vulnerabilidades de segurança relacionadas à IA.”
Melhorias com LLM Guard e Laiyer AI
O projeto LLM Guard, gerenciado pela Laiyer AI, oferece governança para operações de LLM. Ele possui controles de entrada que protegem contra ataques de injeção de prompt, uma preocupação crescente no uso da IA. Além disso, o LLM Guard reduz o risco de vazamentos de informações pessoais (PII) e linguagem tóxica. Em termos de saída, ele protege os usuários de diversas ameaças, incluindo URLs maliciosos.
Dehghanpisheh reafirmou o compromisso da Protect AI em manter o LLM Guard como open-source, ao mesmo tempo em que planeja uma oferta comercial da Laiyer AI, que introduzirá melhorias de desempenho e funcionalidades empresariais. Além disso, a Protect AI irá integrar a tecnologia do LLM Guard em sua plataforma mais ampla, garantindo proteção em todas as etapas do desenvolvimento e implementação de modelos de IA.
Desenvolvendo com Experiência em Open Source
A evolução da Protect AI de iniciativas open-source para produtos comerciais é evidenciada pela sua liderança no projeto open-source ModelScan, que identifica riscos de segurança em modelos de ML. Essa tecnologia fundamenta a recém-anunciada tecnologia Guardian da Protect AI, destinada a escanear vulnerabilidades em modelos de ML.
Escanear modelos em busca de vulnerabilidades é mais complexo do que a varredura tradicional de vírus; os modelos de ML carecem de vulnerabilidades específicas conhecidas para serem identificadas. “Um modelo é um pedaço de código autoexecutável,” explicou Dehghanpisheh. “Chamadas executáveis maliciosas podem ser facilmente incorporadas, resultando em riscos significativos.” A tecnologia Guardian da Protect AI foi projetada para detectar tais ameaças.
Rumo a uma Plataforma Abrangente de Segurança para IA
Dehghanpisheh prevê que a Protect AI evolua além de produtos de segurança individuais. No cenário atual, as organizações frequentemente utilizam várias tecnologias de diferentes fornecedores. A Protect AI busca unificar suas ferramentas dentro da plataforma Radar, integrando-se perfeitamente com ferramentas de segurança existentes, como sistemas SIEM (Gerenciamento de Informações e Eventos de Segurança).
O Radar oferece uma visão abrangente dos componentes dentro de um modelo de IA, essencial para governança e segurança. Com a tecnologia Guardian, a Protect AI pode identificar riscos potenciais antes da implementação, enquanto o LLM Guard mitiga os riscos de uso. Em última análise, a Protect AI se empenha em fornecer uma solução holística de segurança em IA para empresas, permitindo que as organizações gerenciem todas as políticas de segurança de IA de uma plataforma unificada.
“Você terá uma política para a segurança em IA em toda a empresa,” concluiu Dehghanpisheh.
Classificação
