O drama de liderança em desenvolvimento na OpenAI destaca a necessidade crítica de uma integração robusta de segurança no processo de desenvolvimento do modelo GPT. A decisão do conselho da OpenAI de demitir o CEO Sam Altman gerou preocupações significativas sobre a segurança da inteligência artificial, especialmente após relatos de possíveis saídas entre arquitetos seniores responsáveis por proteger esses sistemas. Essa situação intensifica as preocupações dos usuários empresariais em relação aos riscos associados aos modelos GPT.
Para garantir longevidade e escalabilidade, a segurança deve ser entrelaçada ao processo de criação do modelo de IA—um aspecto que ainda não foi abordado. A ação do conselho contra Altman foi supostamente motivada por seu foco acelerado em desenvolvimento de produtos e negócios, possivelmente em detrimento dos compromissos da empresa com segurança e proteção.
Isso reflete a paisagem tumultuada da governança em IA, onde conselhos de diretores independentes buscam cada vez mais controle sobre as medidas de segurança, frequentemente entrando em conflito com as pressões de crescimento. Se o co-fundador Ilya Sutskever e os diretores independentes que o apoiam puderem resistir à reação de investidores e apoiadores de Altman, surgem questões de segurança que sublinham a necessidade de uma integração precoce de segurança no ciclo de vida do desenvolvimento de software GPT.
Riscos de Privacidade de Dados e Vazamentos
Brian Roemmele, um especialista notável em engenharia de prompts, identificou uma vulnerabilidade nos modelos GPT da OpenAI que permite ao ChatGPT acessar e exibir prompts de sessão e arquivos enviados. Ele sugere que modificações essenciais sejam feitas nos prompts do GPT para mitigar esses riscos. Em março, a OpenAI reconheceu e abordou uma falha em uma biblioteca de código aberto que permitia aos usuários visualizar as conversas de outros usuários ativos. O problema estava ligado ao banco de dados Redis, que armazenava informações do usuário, expondo inadvertidamente dados de pagamento de 1,2% dos assinantes do ChatGPT Plus durante um período de nove horas.
Aumento de Casos de Manipulação e Uso Indevido de Dados
Apesar das garantias de medidas protetivas, os atacantes estão adaptando suas estratégias para explorar sessões do GPT. Pesquisadores da Universidade Brown descobriram que o uso de idiomas menos conhecidos, como Zulu e Gaélico, aumentou significativamente suas chances de contornar as restrições. Eles alcançaram uma taxa de sucesso de 79% ao evitar salvaguardas com esses idiomas, comparada a menos de 1% com o inglês. Seus achados indicaram que traduzir entradas inseguras para línguas de baixa recursos usando ferramentas como o Google Tradutor poderia efetivamente contornar as proteções, resultando em respostas prejudiciais do GPT-4.
Vulnerabilidade a Jailbreaks
Pesquisas feitas pela Microsoft revelam que os modelos GPT são suscetíveis a manipulações, frequentemente gerando resultados tendenciosos e vazando informações privadas. Eles observaram que, embora o GPT-4 geralmente tenha um desempenho melhor que o GPT-3.5 em benchmarks, é mais vulnerável a prompts de jailbreak projetados para contornar a segurança. Pesquisadores conseguiram enganar a lógica do GPT-4V por meio de diálogos roteirizados, revelando riscos significativos associados a modelos de linguagem multimodal (MLLMs). Um estudo recente indicou uma impressionante taxa de sucesso de ataque de 98,7% por meio de táticas de autoadversariais.
Ameaças de Segurança por Injeção de Prompt Multimodal
O GPT-4V da OpenAI, que suporta uploads de imagens, enfrenta novas vulnerabilidades devido a possíveis ataques de injeção multimodal. Ao inserir scripts maliciosos em imagens, adversários podem explorar o modelo, resultando na execução não autorizada de tarefas. Os LLMs atuais carecem de etapas robustas de higienização de dados, tornando-os excessivamente receptivos a qualquer entrada, como explica o programador Simon Willison.
Integração Contínua de Segurança como Necessidade
À medida que equipes se apressam para lançar modelos GPT de próxima geração, a pressão para cumprir prazos muitas vezes ofusca considerações de segurança. Implementar protocolos de segurança automatizados desde as primeiras fases de desenvolvimento é essencial. O objetivo deve ser aumentar as taxas de implantação de código, ao mesmo tempo em que se minimizam os riscos de segurança e se melhora a qualidade geral do código. A segurança deve se tornar uma parte integral do Ciclo de Vida de Desenvolvimento de Software (SDLC), juntamente com métricas e fluxos de trabalho personalizados para abordar os desafios únicos do GPT e LML.
Equipes DevOps de alto desempenho demonstram que a incorporação da segurança desde o início do processo de design permite implantações mais rápidas e melhor qualidade de software. Uma maior colaboração entre as equipes de DevOps e de segurança é crucial para fomentar uma responsabilidade compartilhada pelas taxas de implantação, qualidade do software e métricas de segurança—indicadores-chave de desempenho para ambas as equipes.
Classificação
