El cambio en la industria hacia modelos de IA más pequeños, especializados y eficientes refleja una transformación similar a la observada en el hardware, especialmente con la adopción de unidades de procesamiento gráfico (GPUs), unidades de procesamiento de tensores (TPUs) y otros aceleradores de hardware que mejoran la eficiencia computacional. En el corazón de esta transición se encuentra un concepto sencillo basado en la física.
El Compromiso de las CPU
Las CPUs están diseñadas como motores de cómputo general capaces de ejecutar diversas tareas, desde ordenar datos hasta realizar cálculos y gestionar dispositivos externos. Esta versatilidad les permite manejar diferentes patrones de acceso a la memoria, operaciones computacionales y flujos de control. Sin embargo, esta generalidad trae consigo inconvenientes. La complejidad del hardware de la CPU, que soporta una amplia gama de tareas, requiere más silicio para los circuitos, más energía para operar y más tiempo para ejecutar tareas. En consecuencia, aunque las CPUs ofrecen versatilidad, sacrifican inherentemente la eficiencia.
Este compromiso ha llevado a una creciente prevalencia de la computación especializada en los últimos 10-15 años.
El Auge de los Motores Especializados
En las discusiones sobre IA, surgen términos como GPUs, TPUs y NPUs. Estos motores especializados, a diferencia de las CPUs, se enfocan en tareas específicas, lo que los hace más eficientes. Al dedicar más transistores y energía al cómputo y al acceso a datos relevantes para sus tareas designadas y minimizar el soporte para funciones generales, estos modelos pueden operar de manera más económica. Gracias a su sencillez, los sistemas pueden incorporar múltiples motores de cómputo trabajando en paralelo, lo que aumenta significativamente el número de operaciones realizadas por unidad de tiempo y energía.
El Cambio Paralelo en los Modelos de Lenguaje Grande
Una evolución paralela está ocurriendo en el ámbito de los modelos de lenguaje grande (LLMs). Los modelos generales como GPT-4 demuestran capacidades impresionantes debido a su amplia funcionalidad; sin embargo, esta generalidad tiene un costo significativo en términos de parámetros —se rumorea que están en los billones— y de los recursos computacionales y de memoria necesarios para la inferencia. Esto ha llevado al desarrollo de modelos especializados como CodeLlama, que se destaca en tareas de codificación con alta precisión a un menor costo. De manera similar, modelos como Llama-2-7B son efectivos en tareas de manipulación de lenguaje como la extracción de entidades sin incurrir en los mismos gastos computacionales. Modelos más pequeños como Mistral y Zephyr ejemplifican aún más esta tendencia.
Esta evolución refleja el cambio de la dependencia exclusiva de las CPUs a un modelo híbrido que incluye motores de computación especializados como las GPUs, particularmente adeptas en el procesamiento en paralelo; estos motores dominan tareas relacionadas con IA, simulaciones y renderizado gráfico.
Adopción de la Sencillez para la Eficiencia
En el panorama de los LLM, el futuro se basará en desplegar numerosos modelos más simples para la mayoría de las tareas de IA, reservando modelos más grandes y que consumen muchos recursos solo para aquellas tareas que realmente lo requieren. Muchas aplicaciones empresariales, como la manipulación de datos no estructurados, la clasificación de texto y la resumición, pueden ser gestionadas eficazmente por modelos más pequeños y especializados.
El principio es claro: las operaciones más simples consumen menos electrones, lo que resulta en una mayor eficiencia energética. Este enfoque no es meramente una preferencia tecnológica; es una decisión esencial basada en las leyes fundamentales de la física. Así, el futuro de la IA girará de la búsqueda de modelos generales más grandes hacia la aceptación estratégica de la especialización, creando soluciones de IA sostenibles, escalables y eficientes.
Clasificación
