El crecimiento de los modelos de lenguaje grandes (LLMs) ha despertado un gran interés en los modelos de incrustación, sistemas de aprendizaje profundo que convierten diversos tipos de datos en representaciones numéricas. Los modelos de incrustación son fundamentales para la generación aumentada por recuperación (RAG), una aplicación clave de los LLMs en el ámbito empresarial. Sin embargo, su potencial va más allá de RAG. El año pasado se han registrado avances significativos en las aplicaciones de incrustación, y se espera que 2024 traiga aún más innovaciones.
Cómo Funcionan las Incrustaciones
Las incrustaciones transforman datos, como imágenes o documentos de texto, en listas de números que representan sus características más significativas. Los modelos de incrustación, entrenados en grandes conjuntos de datos, aprenden a diferenciar diversos tipos de datos. En visión por computadora, las incrustaciones pueden resaltar características como objetos, formas y colores. En aplicaciones de texto, capturan información semántica relacionada con conceptos, ubicaciones, personas, organizaciones, y más.
En aplicaciones RAG, los modelos de incrustación codifican las características de los documentos de una empresa, almacenando la incrustación de cada documento en una base de datos vectorial, que permite comparar incrustaciones. Cuando se presenta un nuevo aviso, el sistema calcula su incrustación y recupera documentos con valores similares. El contenido relevante del documento se incorpora al aviso, guiando al LLM para generar respuestas informadas en contexto. Este proceso optimizado personaliza los LLMs para ofrecer perspectivas basadas en información propietaria que no se incluyó en sus datos de entrenamiento, abordando problemas como las alucinaciones, donde los LLMs producen hechos inexactos debido a información insuficiente.
Más Allá del RAG Básico
Aunque RAG ha mejorado notablemente la funcionalidad de los LLMs, los beneficios de la recuperación y las incrustaciones van mucho más allá del simple emparejamiento de documentos. “Las incrustaciones se utilizan principalmente para la recuperación y para mejorar las visualizaciones de conceptos”, afirma Jerry Liu, CEO de LlamaIndex. “Sin embargo, la recuperación es mucho más amplia y puede respaldar diversas aplicaciones empresariales”. Según Liu, la recuperación es un componente fundamental en cualquier caso de uso de LLM. LlamaIndex está desarrollando herramientas y marcos para conectar las solicitudes de LLM con tareas diversas, como la interfaz con bases de datos SQL y la automatización de flujos de trabajo. “La recuperación es crucial para enriquecer los LLMs con contexto pertinente, y espero que la mayoría de las aplicaciones empresariales requieran algún tipo de recuperación”, agrega Liu.
Las incrustaciones también son útiles en aplicaciones más allá de la recuperación de documentos. Investigadores de la Universidad de Illinois y de la Universidad Tsinghua han desarrollado técnicas que aprovechan las incrustaciones para seleccionar los subconjuntos de datos de entrenamiento más relevantes y diversos para codificar LLMs, reduciendo significativamente los costos de entrenamiento mientras mantienen alta calidad.
Incrustaciones en Aplicaciones Empresariales
“Las incrustaciones vectoriales permiten trabajar con cualquier dato no estructurado o semi-estructurado. La búsqueda semántica—y RAG es una forma de búsqueda semántica—es solo una aplicación”, afirma Andre Zayarni, CEO de Qdrant. “Ampliar más allá de los datos textuales para incluir imágenes, audio y video es crucial, y nuevos transformadores multimodales facilitarán esto”. Qdrant ya está implementando modelos de incrustación en varias aplicaciones, incluyendo detección de anomalías, sistemas de recomendación y análisis de series temporales. “Con muchos casos de uso sin explotar, se espera que el número de aplicaciones aumente a medida que surjan nuevos modelos de incrustación”, señala Zayarni.
Cada vez más empresas utilizan modelos de incrustación para filtrar grandes cantidades de datos no estructurados, permitiéndoles categorizar comentarios de clientes y publicaciones en redes sociales para identificar tendencias y cambios en el sentimiento. “Las incrustaciones son ideales para las empresas que buscan analizar grandes conjuntos de datos en busca de tendencias y perspectivas”, explica Nils Reimers, líder de Incrustaciones en Cohere.
Ajuste Fino de Incrustaciones
En 2023, se lograron avances en el ajuste fino de LLMs con conjuntos de datos personalizados; sin embargo, este proceso sigue siendo desafiante. Pocas empresas equipadas con los datos y la experiencia necesarios logran ajustar eficazmente. “Probablemente habrá un flujo de RAG a ajuste fino—utilizando inicialmente RAG para accesibilidad y luego optimizando a través del ajuste fino”, anticipa Liu. “Aunque se espera que más empresas ajusten sus LLMs y sus incrustaciones a medida que mejora la calidad de los modelos de código abierto, es probable que su número siga siendo menor que el de aquellos que utilizan RAG a menos que el ajuste fino se vuelva significativamente más fácil”.
El ajuste fino de las incrustaciones presenta sus propias dificultades, incluida la sensibilidad a los cambios de datos. Entrenar con consultas cortas puede obstaculizar el rendimiento con consultas más largas, y viceversa. Si se entrenan en preguntas de “qué”, las incrustaciones pueden tener dificultades con las preguntas de “por qué”. “Las empresas necesitan contar con equipos sólidos de ML internos para un ajuste fino efectivo de incrustaciones, lo que hace que las soluciones listas para usar sean más prácticas en muchos casos”, aconseja Reimers.
Sin embargo, ha habido avances en la agilización del proceso de entrenamiento para los modelos de incrustación. Un estudio de Microsoft sugiere que modelos preentrenados, como Mistral-7B, pueden ajustarse a tareas de incrustación utilizando un conjunto de datos compacto generado por un LLM potente, simplificando los métodos tradicionales que requieren muchos recursos. Dado el rápido avance de los LLMs y los modelos de incrustación, se pueden esperar desarrollos aún más emocionantes en los próximos meses.
Clasificación
