A Ingenuidade dos Modelos de Linguagem em Cibersegurança
Apesar de sua complexidade, os grandes modelos de linguagem (LLMs) muitas vezes demonstram uma surpreendente ingenuidade em questões de cibersegurança. Com uma série inteligente de solicitações, podem revelar inadvertidamente informações sensíveis, gerar código malicioso ou produzir saídas tendenciosas, levantando sérias preocupações éticas. Elad Schulman, cofundador e CEO da Lasso Security, enfatiza esse perigo: “Por mais poderosos que sejam, os LLMs não devem ser confiados de forma irrefletida. Suas capacidades avançadas os tornam suscetíveis a várias vulnerabilidades de segurança.” A Lasso Security, que recentemente lançou sua empresa com US$ 6 milhões em financiamento inicial da Entrée Capital e da Samsung Next, visa enfrentar esses desafios. “A revolução dos LLMs pode superar tanto as revoluções da nuvem quanto da internet juntas. Com grandes avanços vêm riscos substanciais.”
Preocupações de Segurança: Jailbreaking, Vazamentos de Dados e Envenenamento
Os LLMs tornaram-se essenciais para empresas que buscam uma vantagem competitiva. No entanto, sua natureza conversacional e não estruturada os torna alvos fáceis para exploração. Ao manipular solicitações por meio de técnicas como injeção de solicitações ou jailbreaking, esses modelos podem divulgar seus dados de treinamento e informações sensíveis da organização. Os riscos não se limitam a ataques deliberados. O uso indevido por funcionários, como demonstrado na decisão da Samsung de proibir ferramentas de IA generativa após vazamentos de dados, ressalta o potencial de exposições acidentais de dados. Schulman observa: “Como o conteúdo gerado pelos LLMs pode ser influenciado pela entrada de solicitações, os usuários podem acessar involuntariamente funcionalidades adicionais do modelo.”
O envenenamento de dados apresenta outro problema significativo; dados de treinamento adulterados podem introduzir vieses que prejudicam a segurança e os padrões éticos. Além disso, a validação insuficiente das saídas dos LLMs pode levar a vulnerabilidades críticas. De acordo com a OWASP, saídas não monitoradas podem expor sistemas a ameaças sérias, como cross-site scripting (XSS), cross-site request forgery (CSRF) e execução remota de código. A OWASP destaca preocupações adicionais, como ataques de negação de serviço em modelo, onde atacantes sobrecarregam os LLMs com solicitações, causando interrupções no serviço, e vulnerabilidades provenientes de componentes de terceiros na cadeia de suprimento de software.
Cuidado com a Dependência Excessiva
Especialistas alertam sobre os perigos de confiar exclusivamente nos LLMs para informações, o que pode levar a desinformação e brechas de segurança. Por exemplo, durante um processo chamado “alucinação de pacote”, um desenvolvedor pode pedir a um LLM que sugira um pacote de código específico, recebendo uma recomendação fictícia. Atores maliciosos podem então criar código nocivo para explorar essa alucinação, obtendo acesso aos sistemas da empresa. “Esse uso indevido explora a confiança que os desenvolvedores depositam nas recomendações impulsionadas por IA,” alerta Schulman.
Monitoramento das Interações com LLMs para Segurança
A tecnologia da Lasso intercepta interações entre funcionários e LLMs como Bard e ChatGPT, além de integrações com ferramentas como Grammarly e plugins IDE. Ao estabelecer uma camada de observabilidade, a Lasso captura e analisa dados enviados para e a partir dos LLMs, utilizando técnicas avançadas de detecção de ameaças para identificar anomalias. Schulman aconselha as organizações a primeiro identificarem quais ferramentas de LLM estão em uso, e depois analisarem suas aplicações e propósitos. “Essas ações suscitarão discussões cruciais sobre as proteções necessárias,” afirma.
Principais Recursos da Lasso Security
- Descoberta de Shadow AI: Identifique ferramentas ativas, usuários e insights.
- Monitoramento de Fluxo de Dados de LLM: Rastreie e registre todas as transmissões de dados dentro e fora da organização.
- Detecção e Alertas em Tempo Real: Insights imediatos sobre potenciais ameaças.
- Bloqueio e Proteção: Garanta que todas as solicitações e saídas geradas estejam alinhadas com as políticas de segurança.
- Painel de Controle Intuitivo: Simplifique o monitoramento e a gestão das interações com LLMs.
Aproveitando a Tecnologia com Segurança
A Lasso se destaca ao oferecer um conjunto abrangente focado especificamente na segurança de LLMs, em vez de uma única funcionalidade. Schulman observa: “As equipes de segurança ganham controle sobre cada interação de LLM, permitindo que criem e apliquem políticas personalizadas.” As organizações devem adotar tecnologias de LLM de forma segura, pois proibições totais são insustentáveis. “Sem uma estratégia dedicada de gestão de riscos, as empresas que não adotarem IA generativa estarão em desvantagem,” explica Schulman. No final, a Lasso busca fornecer as ferramentas de segurança necessárias para que as organizações aproveitem a tecnologia de ponta sem comprometer sua postura de segurança.
Classificação
