Meta AI presenta un modelo de lenguaje compacto optimizado para dispositivos móviles.

Meta AI ha presentado MobileLLM, un enfoque innovador para desarrollar modelos de lenguaje eficientes adaptados a smartphones y otros dispositivos con recursos limitados. Lanzado el 27 de junio de 2024, esta investigación desafía la creencia predominante de que los modelos de IA efectivos deben ser grandes.

El equipo, que incluye expertos de Meta Reality Labs, PyTorch y Meta AI Research (FAIR), se centró en optimizar modelos con menos de 1 mil millones de parámetros, significativamente más pequeño que el GPT-4, que se estima tiene más de un billón de parámetros.

Yann LeCun, Científico Jefe de IA de Meta, compartió ideas clave sobre la investigación en X (anteriormente Twitter):

Innovaciones Clave en MobileLLM:

- Enfoque en la profundidad del modelo sobre su amplitud.

- Implementación de compartir incrustaciones y atención por consultas agrupadas.

- Introducción de una innovadora técnica de compartir pesos por bloques.

Estas decisiones estratégicas han permitido que MobileLLM supere modelos anteriores de tamaño comparable entre un 2.7% y un 4.3% en tareas de referencia clave. Aunque las mejoras pueden parecer modestas, representan avances significativos en el competitivo desarrollo de modelos de lenguaje.

Notablemente, la versión de 350 millones de parámetros de MobileLLM iguala la precisión del LLaMA-2 de 7 mil millones de parámetros en tareas específicas de llamadas a API. Esto indica que los modelos compactos pueden ofrecer un rendimiento similar mientras requieren sustancialmente menos recursos computacionales.

La publicación “MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases” de Zechun Liu et al. subraya este avance.

El desarrollo de MobileLLM refleja un creciente interés por crear modelos de IA más eficientes. A medida que los avances en modelos de lenguaje muy grandes comienzan a estabilizarse, los investigadores están recurriendo cada vez más a diseños compactos y especializados. La atención de MobileLLM en la eficiencia y la implementación en dispositivos lo coloca junto a lo que algunos expertos llaman Modelos de Lenguaje Pequeños (SLMs).

Aunque MobileLLM aún no está disponible para el público, Meta ha liberado el código de preentrenamiento, lo que permite a los investigadores construir sobre esta labor. A medida que esta tecnología evoluciona, tiene el potencial de mejorar las funcionalidades de IA en dispositivos personales, aunque el calendario y las capacidades específicas siguen siendo inciertos.

En general, MobileLLM marca un avance significativo en la creación de una IA sofisticada más accesible y sostenible, desafiando la idea de que los modelos de lenguaje efectivos deben ser masivos. Esta innovación podría abrir la puerta a emocionantes nuevas aplicaciones de IA en dispositivos personales.