Como Podemos Proteger a IA Generativa? Perspectivas da Abordagem da IBM

À medida que as organizações exploram o potencial da IA generativa, os desafios de segurança também aumentam. Hoje, a IBM está enfrentando esses riscos com o lançamento de um novo framework de segurança especificamente voltado para a IA generativa. O IBM Framework for Securing Generative AI tem como objetivo proteger os fluxos de trabalho durante todo o seu ciclo de vida, desde a coleta de dados até a implantação em produção. Este framework fornece insights sobre as ameaças de segurança comuns que as organizações podem enfrentar ao trabalhar com IA generativa, além de recomendações práticas para estratégias de defesa eficazes. No último ano, a IBM aprimorou suas capacidades em IA generativa com seu portfólio watsonX, que inclui modelos avançados e ferramentas de governança.

Ryan Dougherty, diretor de programa de tecnologia de segurança emergente da IBM, destacou a importância desse framework: “Destilamos nossa experiência para delinear os ataques mais prováveis e as principais defesas que as organizações devem implementar para proteger suas iniciativas de IA generativa.”

O que torna a segurança da IA generativa única? Embora a IBM possua ampla experiência em segurança, os riscos associados às cargas de trabalho de IA generativa são tanto familiares quanto exclusivos. Os três princípios fundamentais da abordagem da IBM são: proteger os dados, o modelo e o uso. Esses pilares ressaltam a necessidade de uma infraestrutura segura e governança em IA durante todo o processo.

Sridhar Muppidi, IBM Fellow e CTO da IBM Security, destacou que práticas de segurança de dados fundamentais, como controle de acesso e segurança da infraestrutura, continuam vitais na IA generativa, assim como em ambientes tradicionais de TI. No entanto, certos riscos estão distintamente associados à IA generativa. Por exemplo, a contaminação de dados envolve a introdução de dados falseados em um conjunto, levando a resultados imprecisos. Muppidi também apontou que questões relacionadas a viés e diversidade de dados, além da deriva de dados e preocupações com a privacidade, requerem atenção especial nesse domínio. Além disso, a injeção de prompts—onde usuários alteram maliciosamente a saída do modelo através de comandos—apresenta uma nova área de risco que exige controles inovadores.

Conceitos-chave de segurança: MLSecOps, MLDR e AISPM. O IBM Framework for Securing Generative AI não é apenas uma ferramenta singular, mas sim uma coleção de diretrizes e recomendações para proteger os fluxos de trabalho de IA generativa. À medida que o cenário da IA generativa evolui, novas categorias de segurança estão surgindo, incluindo Detecção e Resposta em Aprendizado de Máquina (MLDR), Gestão de Posição de Segurança em IA (AISPM) e Operações de Segurança em Aprendizado de Máquina (MLSecOps). O MLDR foca na identificação de riscos potenciais nos modelos, enquanto o AISPM apresenta semelhanças com a Gestão de Posição de Segurança em Nuvem (CSPM), enfatizando a importância da configuração adequada e das melhores práticas para implantações seguras.

Muppidi explicou: “Assim como temos DevOps, que evoluiu para DevSecOps com a adição de segurança, o MLSecOps representa uma abordagem completa do ciclo de vida, desde o design até o uso, integrando a segurança em todo o processo.” Este framework posiciona as organizações para navegar melhor nas complexidades da segurança da IA generativa, garantindo defesas robustas contra ameaças emergentes.