Com o aumento da demanda por IA generativa, garantir sua implementação segura e confiável é mais crucial do que nunca. As empresas buscam desenvolver aplicações de modelos de linguagem de grande escala (LLM) que produzem consistentemente resultados de alta qualidade, enquanto evitam possíveis falhas.
Em resposta, a Microsoft lançou novas ferramentas de Azure AI projetadas para enfrentar problemas como alucinações automáticas—comuns em IA generativa—e ameaças de segurança, como injeção de prompt, onde atacantes manipulam o modelo para gerar conteúdos prejudiciais ou pessoais, exemplificados por deepfakes criados com o gerador de imagens da Microsoft.
Principais Recursos das Novas Ofertas da Microsoft
Atualmente em fase de teste, essas melhorias no Azure AI devem estar amplamente disponíveis nos próximos meses, embora uma data específica de lançamento ainda não tenha sido divulgada. Ataques de injeção de prompt podem comprometer a segurança ao permitir que atores maliciosos alterem os prompts de entrada para contornar operações normais do modelo, incluindo controles de segurança. A Microsoft aborda tanto interações diretas quanto métodos indiretos—como páginas web maliciosas—integrando o Prompt Shields ao Azure AI. Este recurso avançado utiliza algoritmos de aprendizado de máquina (ML) e processamento de linguagem natural para analisar prompts e dados de terceiros em busca de intenção maliciosa, bloqueando entradas prejudiciais antes que elas cheguem ao modelo.
O Prompt Shields funcionará com três ofertas de IA da Microsoft: Azure OpenAI Service, Azure AI Content Safety e Azure AI Studio.
Aprimorando Confiabilidade e Segurança
Além de bloquear ataques de injeção de prompt, a Microsoft está comprometida em aumentar a confiabilidade das aplicações de IA generativa. Novas ferramentas incluem templates pré-construídos para mensagens de sistema focadas em segurança e um recurso chamado “Detecção de Groundedness”.
Os templates pré-construídos ajudam os desenvolvedores a criar mensagens de sistema que promovem saídas seguras, responsáveis e baseadas em dados. A Detecção de Groundedness utiliza um modelo de linguagem personalizado e afinado para identificar alucinações ou imprecisões no texto gerado. Ambos os recursos serão integrados ao Azure AI Studio e ao Azure OpenAI Service.
Além disso, a métrica de Groundedness contará com avaliações automatizadas, permitindo que os desenvolvedores testem aplicações de IA generativa quanto a riscos e preocupações de segurança. Essas avaliações analisam a probabilidade de a aplicação ser explorada e gerar conteúdo inadequado, fornecendo explicações em linguagem natural para ajudar os desenvolvedores a desenvolver mitigadores eficazes.
Sarah Bird, Diretora de Produto de IA Responsável da Microsoft, destacou que muitas organizações carecem de recursos para testes de estresse abrangentes em aplicações de IA generativa. Criar conjuntos de dados de teste de alta qualidade que reflitam riscos emergentes, como ataques de jailbreak, é desafiador, e interpretar os resultados das avaliações pode ser complexo.
Monitoramento em Tempo Real para Aplicações em Produção
Uma vez que as aplicações estejam em produção, a Microsoft oferecerá recursos de monitoramento em tempo real. Essas ferramentas rastrearão interações de entrada e saída que acionam mecanismos de segurança, como o Prompt Shields. Disponível através do Azure OpenAI Service e do Azure AI Studio, esse monitoramento oferece visualizações detalhadas de entradas de usuários bloqueadas e saídas do modelo, categorizadas por gravidade.
Essa visibilidade permite que os desenvolvedores identifiquem tendências de solicitações prejudiciais ao longo do tempo, permitindo que refine filtros de conteúdo e controles para aprimorar a segurança da aplicação.
A Microsoft tem aprimorado suas ofertas de IA, inicialmente focando nos modelos da OpenAI antes de ampliar as parcerias com outras empresas como a Mistral. A recente adição de Mustafa Suleyman e da equipe da Inflection AI representa um esforço estratégico para diversificar suas capacidades de IA.
Com essas novas ferramentas de segurança e confiabilidade, a Microsoft visa capacitar os desenvolvedores a construir aplicações de IA generativa seguras, reforçando seu compromisso com soluções de IA confiáveis—um requisito essencial para empresas que navegam neste cenário em rápida evolução.
Classificação
