La startup de inteligencia artificial con sede en Toronto, Cohere, ha presentado Embed V3, la última versión de su modelo de incrustación optimizado para la búsqueda semántica y aplicaciones de modelos de lenguaje grande (LLM).
Los modelos de incrustación transforman los datos en representaciones numéricas conocidas como "incrustaciones", que han ganado popularidad con el aumento del uso de LLM en aplicaciones empresariales. Embed V3 compite con Ada de OpenAI y varios modelos de código abierto, buscando un rendimiento superior y una mejor compresión de datos. Estas mejoras están diseñadas para reducir los costos operativos en aplicaciones de LLM empresariales.
El Rol de las Incrustaciones en RAG
Las incrustaciones son esenciales para diversas tareas, incluida la generación aumentada por recuperación (RAG), una aplicación crítica de los LLM en el ámbito empresarial. RAG permite a los desarrolladores proporcionar contexto a los LLM recuperando información de fuentes como manuales de usuario, historiales de chat, artículos o documentos que no formaban parte del conjunto de entrenamiento original.
Para utilizar RAG, las empresas generan incrustaciones de sus documentos y las almacenan en una base de datos vectorial. Cuando un usuario formula una consulta al modelo, el sistema de IA calcula la incrustación del prompt y la compara con las incrustaciones almacenadas, recuperando los documentos más relevantes para enriquecer el contexto de la consulta.
Superando los Retos de la IA Empresarial
RAG aborda algunas limitaciones de los LLM, como la falta de información en tiempo real y la tendencia a generar contenido inexacto, conocido como "alucinaciones". Sin embargo, encontrar los documentos más relevantes para las consultas de los usuarios sigue siendo un desafío.
Modelos de incrustación anteriores han enfrentado dificultades con conjuntos de datos ruidosos, donde documentos irrelevantes podían ocupar posiciones más altas debido a una simple coincidencia de palabras clave. Por ejemplo, si un usuario busca "síntomas de COVID-19", modelos anteriores podrían priorizar un documento que mencione vagamente el término, en lugar de uno que detalle síntomas específicos.
Embed V3 de Cohere destaca en la coincidencia de documentos con consultas al ofrecer un contexto semántico preciso. En el ejemplo de "síntomas de COVID-19", Embed V3 clasificaría un documento que describe síntomas específicos como "fiebre alta", "tos persistente" o "pérdida del olfato o del gusto" más alto que una declaración general sobre COVID-19.
Cohere informa que Embed V3 supera a otros modelos, incluyendo ada-002 de OpenAI, en benchmarks estándar de rendimiento de incrustaciones. Disponible en varios tamaños, Embed V3 también incluye una versión multilingüe que relaciona consultas con documentos en diferentes idiomas, facilitando la recuperación de documentos relevantes en múltiples idiomas para consultas en inglés.
Mejorando RAG con Características Avanzadas
Embed V3 demuestra un rendimiento excepcional en casos de uso complejos, incluidas consultas RAG de múltiples pasos. Cuando un prompt del usuario implica múltiples consultas, el modelo identifica y recupera documentos relevantes para cada una, optimizando el proceso.
Esta eficiencia reduce la necesidad de múltiples consultas a la base de datos vectorial. Además, Embed V3 mejora la reranking—una función integrada en su API—para organizar mejor los resultados de búsqueda basándose en la relevancia semántica.
“Rerank es particularmente efectivo para consultas complejas y documentos, ya que los modelos de incrustación tradicionales pueden tener dificultades en esos escenarios”, explicó un portavoz de Cohere. “Sin embargo, para que la reordenación sea efectiva, el conjunto inicial de documentos debe representar con precisión la información más relevante. Un modelo superior como Embed V3 asegura que ningún documento relevante se pase por alto.”
Además, Embed V3 puede reducir significativamente los costos asociados al funcionamiento de bases de datos vectoriales. El proceso de entrenamiento de tres etapas del modelo incluyó un método de entrenamiento especializado consciente de la compresión. Como señaló un portavoz, “Los gastos de mantenimiento de una base de datos vectorial pueden ser de 10 a 100 veces mayores que el costo de calcular las incrustaciones. Nuestro entrenamiento consciente de la compresión permite una compresión vectorial efectiva.”
Según el blog de Cohere, esta fase de compresión optimiza los modelos para compatibilidad con varios métodos de compresión, reduciendo sustancialmente los costos de la base de datos vectorial mientras se mantiene hasta el 99.99% de la calidad de búsqueda.
Clasificación
