Os líderes de TI estão priorizando cada vez mais a inteligência artificial generativa, aplicando-a a funções empresariais críticas como marketing, design, desenvolvimento de produtos, ciência de dados, operações e vendas. Além das aplicações organizacionais, a IA generativa desempenha um papel fundamental em esforços humanitários, incluindo o desenvolvimento de vacinas, detecção de câncer e iniciativas ambientais, sociais e de governança, como a otimização de recursos.
Entretanto, cada uma dessas aplicações apresenta riscos de segurança distintos, principalmente em relação à privacidade, conformidade e ao potencial de perda de dados sensíveis e propriedade intelectual. À medida que a adoção da IA generativa se expande, esses riscos tendem a aumentar.
“As organizações devem planejar proativamente cada projeto de IA generativa—tanto interna quanto externamente—não apenas para os riscos atuais, mas com os desafios futuros em mente”, aconselha Vijoy Pandey, SVP da Outshift by Cisco. “É essencial equilibrar inovação e confiança do usuário, priorizando privacidade, autenticidade e responsabilidade."
Compreendendo os Riscos Únicos da IA Generativa
Os riscos associados à IA generativa diferem dos das tecnologias tradicionais. Ataques de phishing sofisticados que utilizam tecnologia de deep fake podem enganar indivíduos, tornando a fraude de identidade mais prevalente. Golpistas podem se passar por agentes de atendimento ao cliente de uma empresa para adquirir informações sensíveis de forma ilícita, resultando em perdas financeiras significativas.
Além disso, os usuários frequentemente inserem informações sensíveis em modelos de IA generativa, que podem reter e utilizar esses dados para fins de treinamento, levantando preocupações significativas sobre conformidade com privacidade e proteção de dados. As organizações devem estar atentas às novas regulamentações que surgem em resposta aos riscos da IA generativa.
Embora as extensas necessidades de dados de grandes modelos de linguagem (LLMs) apresentem desafios, estruturas de segurança existentes podem ajudar a mitigar riscos associados a dados brutos e vazamentos de dados.
Golpistas podem explorar vulnerabilidades na cadeia de IA generativa, comprometendo previsões precisas, negando serviços ou até mesmo invadindo sistemas operacionais e impactando a reputação nas redes sociais.
“À medida que enfrentamos ameaças como envenenamento de dados e inversão de modelos, a detecção se torna primordial”, explica Pandey. “Dependemos de intervalos de confiança estabelecidos para avaliar as saídas dos modelos, mas se atacantes comprometerem a cadeia, nossos padrões de confiança podem ser minados.”
A detecção imediata de problemas é desafiadora; os problemas geralmente se manifestam ao longo do tempo. As equipes de operações de segurança têm recursos como MITRE ATLAS e OWASP Top 10 para abordar preocupações emergentes de segurança na IA generativa.
“A IA generativa ainda está evoluindo, e a segurança deve evoluir junto”, adverte Pandey. “Esta é uma jornada contínua.”
Segurança da Propriedade Intelectual e Questões de Transparência
A IA generativa gera saídas complexas ao processar vastos conjuntos de dados e algoritmos intrincados. Os usuários geralmente não conseguem rastrear as origens das informações fornecidas, resultando em riscos significativos relacionados à exposição da propriedade intelectual. Essa preocupação surge tanto de dados de treinamento externos quanto do conteúdo gerado pelo usuário inserido nesses modelos.
“O desafio é garantir o acesso a dados enquanto protege a propriedade intelectual e informações sensíveis de saírem da organização ou entrarem no modelo de forma não intencional”, afirma Pandey. “Estamos usando conteúdo de código aberto ou licenciado de maneira inadequada?”
Além disso, os modelos de IA generativa geralmente carecem de relevância e especificidade em tempo real, impactando aplicações como a geração aumentada por recuperação (RAG), que incorpora o contexto de negócios atual e fornece citações para verificação. O RAG aprimora os LLMs permitindo que aprendam continuamente, reduzindo imprecisões e mantendo informações sensíveis seguras.
“O RAG é como enviar um generalista à biblioteca para aprender sobre física quântica”, descreve Pandey. “A coleta e ingestão de informações relevantes é essencialmente o que o RAG realiza. Embora apresente desafios e exija experimentação, ele personaliza eficazmente os modelos fundamentais para atender a casos de uso organizacionais sem comprometer a integridade dos dados.”
Protegendo os Usuários e Construindo o Futuro
“O cenário de casos de uso da IA generativa está atualmente bem definido, mas nos próximos anos, isso permeia tudo o que criamos ou consumimos”, prevê Pandey. “Isso exige a adoção de uma abordagem de zero confiança.”
Suponha que cada componente da cadeia—desde dados até modelos e acesso do usuário—possa falhar.
Além disso, dado o novato desta tecnologia, a falta de regras estabelecidas significa que erros humanos e vulnerabilidades podem facilmente ser negligenciados. Documentação abrangente é crucial para abordar potenciais violações e priorizar medidas de segurança.
“Capture seus objetivos: documente fontes de dados, modelos em produção e seus processos de treinamento”, aconselha Pandey. “Classifique aplicações com base em sua importância, garantindo que as políticas de segurança reflitam essa criticidade.”
A segurança deve estar embutida em todos os níveis, da infraestrutura à aplicação. Se uma camada falhar, uma estratégia de defesa em profundidade pode oferecer proteção adicional, ressaltando que a segurança é uma jornada contínua.
“A solução para navegar na segurança dentro da IA generativa está em processos estocásticos—desenvolvendo modelos especificamente para gerenciar preocupações de segurança em outros modelos”, sugere Pandey.
A Importância Crítica da Confiança do Usuário na IA Generativa
A confiança do usuário é uma métrica chave de desempenho empresarial. “A segurança impacta a experiência do usuário, influenciando diretamente o sucesso das soluções de IA generativa”, enfatiza Pandey. A perda de confiança pode afetar severamente a receita.
“Um aplicativo inseguro essencialmente se torna inexistente; qualquer monetização ou objetivo comercial relacionado se torna irrelevante”, detalha. “O mesmo se aplica a um modelo ou aplicativo de IA generativa inseguro. Sem segurança, seu modelo é inutilizável, dificultando o crescimento dos negócios.”
Por outro lado, se os clientes descobrirem que seus dados privados foram mal geridos—especialmente em um ambiente de IA generativa— a confiança pode se desgastar rapidamente, complicando ainda mais a percepção já frágil das tecnologias de IA.
Esses dois desafios simultâneos exigem tempo para que as organizações compreendam completamente os riscos e estabeleçam soluções eficazes.
“Adote uma filosofia de zero confiança, construa defesas robustas e mantenha-se ciente da natureza opaca da IA generativa”, conclui Pandey. “Reconheça que onde você começa hoje será significativamente diferente de sua posição em três anos, à medida que tanto a IA generativa quanto suas medidas de segurança associadas evoluem rapidamente.”
Classificação
