A ascensão dos grandes modelos de linguagem (LLMs) tem impulsionado o interesse em modelos de embedamento—sistemas de aprendizado profundo que convertem diferentes tipos de dados em representações numéricas. Esses modelos são essenciais para a geração aumentada por recuperação (RAG), uma aplicação chave dos LLMs em ambientes empresariais. No entanto, seu potencial vai além da RAG. O último ano trouxe avanços significativos nas aplicações de embedamento, e 2024 promete ainda mais inovações.
Como Funcionam os Embeddings
Os embeddings transformam dados—como imagens ou documentos de texto—em listas de números que representam suas características mais significativas. Treinados em grandes conjuntos de dados, os modelos de embedamento aprendem a diferenciar vários tipos de dados. Na visão computacional, os embeddings podem destacar características como objetos, formas e cores. Em aplicações textuais, eles capturam informações semânticas relacionadas a conceitos, locais, pessoas, organizações, e mais.
Nas aplicações de RAG, os modelos de embedamento codificam as características dos documentos de uma empresa, armazenando o embedding de cada documento em um banco de dados especializado chamado vetor store, que permite a comparação de embeddings. Quando um novo prompt é apresentado, o sistema calcula seu embedding e recupera documentos com valores similares. O conteúdo relevante é então incorporado ao prompt, orientando o LLM a gerar respostas contextualizadas. Esse processo simplificado personaliza os LLMs para fornecer insights baseados em informações proprietárias não incluídas em seus dados de treinamento, abordando desafios como a alucinação, onde os LLMs produzem fatos imprecisos devido à falta de informação.
Além da RAG Básica
Embora a RAG tenha melhorado significativamente a funcionalidade dos LLMs, os benefícios da recuperação e dos embeddings vão muito além de uma simples correspondência de documentos. “Os embeddings são usados principalmente para recuperação—e para frequentemente melhorar visualizações de conceitos”, afirma Jerry Liu, CEO da LlamaIndex. “No entanto, a recuperação é muito mais ampla e pode apoiar várias aplicações empresariais.” Segundo Liu, a recuperação é um componente fundamental em qualquer caso de uso de LLM. A LlamaIndex está desenvolvendo ferramentas e estruturas para conectar prompts de LLM a diversas tarefas, como interface com bancos de dados SQL e automação de fluxos de trabalho. “A recuperação é crucial para enriquecer os LLMs com contextos pertinentes, e espero que a maioria das aplicações empresariais exija algum tipo de recuperação”, complementa Liu.
Os embeddings também têm utilidade em aplicações além da recuperação de documentos. Pesquisadores da Universidade de Illinois e da Universidade Tsinghua desenvolveram técnicas que aproveitam os embeddings para selecionar os subconjuntos de dados de treinamento mais relevantes e diversos para codificação de LLMs, reduzindo significativamente os custos de treinamento enquanto mantêm alta qualidade.
Embeddings em Aplicações Empresariais
“Os embeddings vetoriais permitem trabalhar com qualquer dado não estruturado ou semiestruturado. A busca semântica—e a RAG é uma forma de busca semântica—é apenas uma aplicação”, afirma Andre Zayarni, CEO da Qdrant. “Expandir além dos dados textuais para incluir imagens, áudio e vídeo é crucial, e novos transformadores multimodais facilitarão isso.” A Qdrant já está implementando modelos de embedamento em diversas aplicações, incluindo detecção de anomalias, sistemas de recomendação e análise de séries temporais. “Com muitos casos de uso ainda não explorados, espera-se que o número de aplicações aumente à medida que novos modelos de embedamento surgirem”, observa Zayarni.
Mais empresas estão utilizando modelos de embedamento para analisar grandes volumes de dados não estruturados, permitindo categorizar feedback dos clientes e postagens em redes sociais para identificar tendências e mudanças de sentimento. “Os embeddings são ideais para empresas que buscam analisar grandes conjuntos de dados em busca de tendências e insights”, explica Nils Reimers, Líder de Embeddings na Cohere.
Aprimorando os Embeddings
Em 2023, avanços foram feitos no aprimoramento de LLMs com conjuntos de dados personalizados; no entanto, esse processo continua desafiador. Poucas empresas equipadas com os dados e expertise necessários conseguem realizar o ajuste de forma eficaz. “Provavelmente haverá uma transição da RAG para o ajuste fino—utilizando inicialmente a RAG para acessibilidade e, em seguida, otimizando através do aprimoramento”, antecipa Liu. “Embora mais empresas estejam previstas para realizar o ajuste fino de seus LLMs e embeddings à medida que modelos de código aberto melhorem, o número provavelmente será menor do que aqueles que utilizam RAG, a menos que o ajuste fino se torne significativamente mais fácil.”
O ajuste fino dos embeddings apresenta suas próprias dificuldades, incluindo sensibilidade às mudanças de dados. O treinamento em consultas curtas pode prejudicar o desempenho em consultas mais longas, e vice-versa. Se treinados em perguntas do tipo “o que”, os embeddings podem ter dificuldade em perguntas do tipo “por que”. “As empresas precisam de equipes robustas de ML internas para um ajuste fino eficaz de embeddings, tornando soluções prontas para uso mais práticas em muitos casos”, aconselha Reimers.
No entanto, houve avanços na simplificação do processo de treinamento para modelos de embedamento. Um estudo da Microsoft sugere que modelos pré-treinados, como o Mistral-7B, podem ser ajustados para tarefas de embedamento usando um conjunto de dados compacto gerado por um poderoso LLM, simplificando métodos tradicionais que consomem muitos recursos. Dado o rápido avanço dos LLMs e dos modelos de embedamento, podemos esperar desenvolvimentos ainda mais empolgantes nos próximos meses.
Classificação
