MIT Spinoff Liquid Lanza Modelos de IA de Última Generación sin Transformador

Liquid AI, una startup cofundada por exinvestigadores del MIT del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL), ha presentado sus primeros modelos de IA multimodal: los Modelos Fundamentales Líquidos (LFMs).

A diferencia de muchos modelos actuales de IA generativa que dependen de la arquitectura de transformadores, particularmente del conocido marco de 2017 "Attention Is All You Need", Liquid AI busca explorar alternativas a los Transformadores Generativos Preentrenados (GPT). Los LFMs se construyen desde "primeros principios", de manera similar a cómo los ingenieros abordan la construcción de motores y aeronaves.

Estos innovadores LFMs demuestran un rendimiento superior en comparación con modelos basados en transformadores, como Llama 3.1-8B de Meta y Phi-3.5 3.8B de Microsoft. Disponibles en tres tamaños—LFM 1.3B (pequeño), LFM 3B y el grande LFM 40B MoE (modelo de Mezcla de Expertos)—los modelos tienen diferentes cantidades de parámetros, indicados por la "B" que denota mil millones. Generalmente, un mayor número de parámetros indica una mayor capacidad para manejar diversas tareas.

La versión LFM 1.3B ya ha superado a Llama 3.2-1.2B de Meta y a Phi-1.5 de Microsoft en varios benchmarks independientes, incluido el test de Comprensión de Lenguaje Multitarea Masiva (MMLU), marcando un logro significativo para una arquitectura no GPT. Los tres modelos equilibran un alto rendimiento con eficiencia en memoria; por ejemplo, el LFM-3B de Liquid solo requiere 16 GB de memoria, mientras que Llama-3.2-3B de Meta necesita más de 48 GB.

Maxime Labonne, Jefe de Postentrenamiento en Liquid AI, expresó su orgullo por los LFMs en sus redes sociales, destacando su eficiencia y capacidad para superar modelos de transformadores en benchmarks de rendimiento utilizando significativamente menos memoria. Estos modelos están optimizados para numerosas aplicaciones, incluidas soluciones empresariales en finanzas, biotecnología y electrónica de consumo, así como su implementación en dispositivos de borde.

Es importante mencionar que los LFMs no son de código abierto. Los usuarios deben acceder a ellos a través de los entornos de inferencia de Liquid, como Lambda Chat o Perplexity AI.

El enfoque de Liquid para desarrollar LFMs incorpora una mezcla de unidades computacionales basadas en la teoría de sistemas dinámicos, procesamiento de señales y álgebra lineal numérica. Esto da lugar a modelos de IA de propósito general capaces de manejar varios tipos de datos secuenciales, incluidos video, audio, texto y series temporales.

El año pasado, informes destacaron el enfoque de Liquid AI en Redes Neuronales Líquidas (LNNs), una arquitectura desarrollada en CSAIL aimed at mejorar la eficiencia y adaptabilidad de las neuronas artificiales. A diferencia de los modelos de aprendizaje profundo tradicionales que requieren numerosas neuronas para tareas complejas, las LNNs demuestran que menos neuronas—cuando se combinan con técnicas matemáticas innovadoras—pueden lograr resultados comparables.

Los LFMs aprovechan esta adaptabilidad, permitiendo ajustes en tiempo real durante la inferencia con un sobrecosto computacional mínimo. Por ejemplo, el modelo LFM-3B destaca en el manejo de procesamiento de contexto largo, manteniendo una huella de memoria más pequeña en comparación con modelos como Gemma-2 de Google, Phi-3 de Microsoft y Llama-3.2 de Meta.

A través de su capacidad multimodal, Liquid AI aborda diversos retos en sectores como servicios financieros, biotecnología y electrónica de consumo.

Actualmente en fase de vista previa, Liquid AI invita a los primeros adoptantes a probar los modelos y proporcionar retroalimentación. Se programó un evento de lanzamiento completo para el 23 de octubre de 2024 en el Auditorio Kresge del MIT en Cambridge, MA, con RSVP aceptadas. En preparación, Liquid AI planea publicar una serie de entradas de blog técnico y fomentar esfuerzos de red-teaming, invitando a los usuarios a realizar pruebas de estrés en sus modelos para futuras mejoras.

Con el lanzamiento de los Modelos Fundamentales Líquidos, Liquid AI busca consolidarse como un actor significativo en el sector de modelos de base, combinando un rendimiento excepcional con una eficiencia de memoria inigualable.