A Corrida pela Inovação em Gen AI Revela Lacunas de Segurança, Relatam IBM e AWS.

O Que É Necessário para Garantir a Segurança da IA Generativa?

Um estudo recente da IBM e da Amazon Web Services (AWS) revela que não há uma solução simples para garantir a segurança da IA generativa (gen AI). Com base em uma pesquisa do IBM Institute for Business Value com executivos líderes dos EUA, o relatório destaca a importância crítica da segurança em iniciativas de IA. Notavelmente, 82% dos líderes de nível C concordam que uma IA segura e confiável é vital para o sucesso dos negócios.

No entanto, há um contraste acentuado entre intenções e ações: atualmente, as organizações asseguram apenas 24% de seus projetos de IA generativa. Essa preocupação com a segurança é reafirmada em um relatório da PwC, que aponta que 77% dos CEOs estão preocupados com os riscos cibernéticos da IA.

Para enfrentar esses desafios, a IBM está colaborando com a AWS para aprimorar a segurança da gen AI. Hoje, anunciaram o Serviço de Teste IBM X-Force Red para IA, com o objetivo de avançar nas medidas de segurança em IA generativa.

Navegando no Dilema Inovação-Segurança

Enquanto garantir a segurança da tecnologia pode parecer fundamental, muitas organizações priorizam a inovação em detrimento da segurança. O relatório destaca que 69% das organizações colocam a inovação em primeiro lugar, muitas vezes negligenciando medidas de segurança abrangentes. Dimple Ahluwalia, sócia sênior global em Serviços de Cibersegurança da IBM Consulting, observa que os líderes estão sob pressão para inovar com a gen AI, fazendo com que a segurança seja relegada a um segundo plano.

"Assim como nos primeiros dias da computação em nuvem," observa Ahluwalia, "muitos estão se apressando na IA generativa sem um planejamento adequado de segurança, o que compromete a segurança."

Estabelecendo Diretrizes para uma Segurança Eficaz em IA

Para fomentar a confiança na IA generativa, as organizações precisam implementar uma governança robusta. Isso envolve criar políticas, processos e controles alinhados com os objetivos de negócios—81% dos executivos acreditam que novos modelos de governança são essenciais para assegurar a gen AI.

Uma vez que estruturas de governança estejam estabelecidas, as organizações podem desenvolver estratégias para proteger toda a pipeline de IA. Isso requer colaboração entre as equipes de segurança, tecnologia e negócios, além de aproveitar a experiência de parceiros tecnológicos para o desenvolvimento de estratégias, treinamento, justificativa de custos e navegação em conformidade.

Serviço de Teste IBM X-Force Red para IA

Juntamente com a governança, a validação e os testes são críticos para garantir a segurança. O Serviço de Teste IBM X-Force Red para IA marca o primeiro serviço de teste da IBM projetado especificamente para IA. Este serviço reúne uma equipe diversificada de especialistas em testes de penetração, sistemas de IA e ciência de dados, utilizando insights da IBM Research e da Adversarial Robustness Toolbox (ART).

O termo "red teaming" refere-se a uma abordagem proativa de segurança onde táticas adversariais são empregadas para identificar vulnerabilidades. Chris Thompson, chefe global do X-Force Red na IBM, explica que o foco mudou para testar a segurança e a proteção dos modelos de IA, embora as táticas tradicionais de red team em furtividade e evasão fossem pouco exploradas.

"A natureza dos ataques a aplicações de gen AI assemelha-se a ameaças de segurança de aplicações tradicionais, mas com reviravoltas únicas e superfícies de ataque expandidas," observa Thompson.

À medida que avançamos por 2024, a IBM está testemunhando uma convergência de estratégias que se assemelham ao verdadeiro red teaming. Sua abordagem abrange quatro áreas principais: plataformas de IA, a pipeline de ML para ajuste e treinamento de modelos, o ambiente de produção para aplicações de gen AI e as próprias aplicações.

"Alinhados com nossos esforços tradicionais de red teaming, pretendemos descobrir oportunidades de detecção perdidas e aumentar a velocidade na identificação de potenciais ameaças direcionadas a essas soluções inovadoras de IA," conclui Thompson.