En la era de los modelos de lenguaje de gran tamaño (LLMs), las empresas buscan implementar el modelo más efectivo para sus aplicaciones específicas. Aunque esta tarea puede parecer sencilla, muchas organizaciones enfrentan un desafío significativo: identificar la mejor solución para sus casos de uso únicos en un entorno en constante evolución.
Presentamos a Not Diamond, una innovadora startup que está lanzándose desde el modo sigiloso y que plantea que la clave está en el enrutamiento inteligente. Con sede en San Francisco, Not Diamond ha desarrollado un enrutador de LLM innovador que permite a las empresas utilizar múltiples modelos simultáneamente, dirigiendo las consultas al más adecuado. Este enfoque mejora la calidad de los resultados y optimiza factores cruciales como la latencia y los costos.
“Nuestra creencia fundamental es que el futuro no consistirá en un solo modelo o empresa dominante; más bien, habrá numerosos modelos base, incontables variantes especializadas y una multitud de motores de inferencia personalizados operando encima. Fundamos Not Diamond para facilitar este futuro multi-modelo, ofreciendo la infraestructura más avanzada del mundo para el enrutamiento entre modelos”, dice Tomás Hernando Kofman, cofundador y CEO de Not Diamond.
A pesar de estar en una etapa temprana, Not Diamond ha atraído una atención significativa, asegurando $2.3 millones en financiamiento de defy.vc y figuras destacadas de la comunidad de IA, incluyendo a Jeff Dean de Google DeepMind, Julien Chaumond de Hugging Face, Zack Kass de OpenAI, entre otros.
El desafío de costos de LLM versus rendimiento específico de tareas
Navegar por el panorama actual de modelos de lenguaje de gran tamaño es complejo, ya que cada modelo—ya sea de código abierto o propietario—tiene sus fortalezas y debilidades. Elegir un modelo con una longitud de contexto extensa y alto rendimiento puede resultar prohibitivamente caro. Por otro lado, las opciones más asequibles pueden carecer de capacidades críticas o presentar alta latencia.
Además, nuevos modelos emergen diariamente, mientras que los existentes continúan recibiendo actualizaciones sustanciales, demostrando el potencial de los avances de código abierto, como Llama 3.1.
Cómo Not Diamond empodera a las empresas
Kofman, quien anteriormente desarrolló un producto de IA sin código, enfrentó de primera mano el dilema de los LLM. Se imaginó una solución: una interfaz que permita a las empresas acceder a una red de modelos especializados en lugar de depender de una única opción. Esta visión lo llevó a colaborar con expertos en aprendizaje automático como Tze-Yang Tung y Jeffrey Akiki para establecer Not Diamond, enfocándose en crear una infraestructura que enrute consultas entre modelos de manera inteligente.
“Una infraestructura de enrutamiento efectiva es vital para maximizar el rendimiento de los sistemas de IA. Modelos más pequeños y especializados pueden superar a los más grandes en dominios específicos, y el enrutamiento ofrece a estos modelos la resiliencia de los generales. Este enfoque no solo es eficiente en términos computacionales, sino que también mejora la interpretabilidad y la seguridad”, explicó Kofman.
La tecnología innovadora de Not Diamond
En el corazón de la solución de Not Diamond se encuentra un 'meta-modelo' y un algoritmo de clasificación de LLM. Este enrutador analiza de manera exhaustiva las consultas entrantes, dirigiéndolas automáticamente al modelo mejor equipado para proporcionar respuestas precisas, maximizando la eficiencia de costos y minimizando la latencia. Como resultado, los equipos se ahorran la necesidad de recurrir a modelos grandes para consultas sencillas.
Los resultados de las pruebas indican que el enrutador de Not Diamond, utilizando múltiples LLMs, supera a modelos individuales como Llama 3.1 y GPT-4, ofreciendo resultados superiores.
Para desarrollar esta capacidad, Not Diamond creó un amplio conjunto de datos de evaluación para medir el rendimiento de LLM en diversas tareas, desde responder preguntas hasta programar y razonar. La empresa luego entrenó un algoritmo de clasificación para identificar el LLM más compatible con cada consulta, impulsando el proceso de enrutamiento.
En diciembre de 2023, Not Diamond lanzó una vista previa de código abierto de su enrutador, permitiendo a las empresas gestionar consultas entre GPT-3.5 y GPT-4 sin problemas, con planes de expandirse a modelos adicionales.
Además, si un equipo desea integrar el enrutador en sus flujos de trabajo internos para aplicaciones específicas, puede proporcionar conjuntos de datos de evaluación internos para entrenar un enrutador personalizado, optimizando así la selección de modelos. El enrutador también ofrece características de hashing de datos y traducción de prompts para mejorar el rendimiento.
Acelerando la adopción por parte de desarrolladores
Aunque todavía está en su infancia, Not Diamond está experimentando una significativa aceptación por parte de empresas en etapas iniciales y desarrolladores independientes. Aunque no se han revelado cifras específicas de usuarios, un cliente empresarial, Samwell AI, reportó una mejora del 10% en la calidad de los resultados de LLM, junto con una reducción del 10% en los costos de inferencia y latencia gracias a la tecnología de Not Diamond.
Con el respaldo de líderes de la industria, la empresa busca construir sobre su progreso, acelerando el desarrollo de productos y aumentando las tasas de adopción. Kofman enfatiza que Not Diamond tiene un “conjunto de características adicionales de productos” en desarrollo, aunque los detalles se mantienen en secreto.
En el ámbito del enrutamiento inteligente de consultas, Not Diamond enfrenta competencia de varias startups destacadas, incluyendo Martian y Unify. Sin embargo, Kofman asegura que Not Diamond se distingue por su excepcional velocidad de enrutamiento, optimización de prompts y características de privacidad.
Clasificación
