¿Podría un camélido peludo reclamar el título de la historia más importante de la IA en 2023? Si nos referimos a Llama, el modelo de lenguaje extenso de Meta que revolucionó el panorama de la investigación en IA en febrero, seguido por Llama 2 en julio y Code Llama en agosto, yo argumentaría que sí.
Ya puedo escuchar la reacción. “¿Qué? ¡ChatGPT es claramente la historia más grande de la IA en 2023!” Puedo casi oír a la multitud gritando. “¡ChatGPT de OpenAI se lanzó el 30 de noviembre de 2022 y alcanzó los 100 millones de usuarios para febrero! ¡Introdujo la IA generativa en la cultura popular!”
Sin embargo, escúchenme. En mi opinión, ChatGPT es indudablemente un cambio de juego en la IA generativa. Como señaló el analista de Forrester, Rowan Curran, fue “la chispa que encendió el fuego alrededor de la IA generativa”.
Sin embargo, febrero marcó un momento crucial cuando Meta lanzó Llama, el primer modelo de lenguaje extenso gratuito y 'código abierto', lo que generó un intenso debate sobre la IA de código abierto que ha perdurado a lo largo del año. Mientras otros gigantes tecnológicos, empresas de LLM y legisladores examinaban la seguridad de los modelos de IA con acceso abierto, junto con los costosos desafíos computacionales, la IA de código abierto ganó un terreno significativo.
Según Meta, desde el lanzamiento de Llama, la comunidad de IA de código abierto ha creado más de 7,000 derivados en la plataforma Hugging Face, resultando en modelos notables como Koala, Vicuna, Alpaca, Dolly y RedPajama. Aunque existen otros modelos de código abierto, como Mistral, Hugging Face y Falcon, Llama fue el primero respaldado por los datos y recursos de una gran empresa tecnológica.
Uno podría comparar ChatGPT con la película blockbuster de 2023, Barbie, mientras que Llama y sus contrapartes de código abierto se asemejan a un vasto Universo Marvel, lleno de derivados que prometen un impacto duradero en el panorama de la IA. Esta tendencia conducirá a “aplicaciones de IA generativa más impactantes en el mundo real, consolidando aún más los cimientos de código abierto en el campo”, dijo Kjell Carlsson, jefe de estrategia de ciencia de datos y evangelismo en Domino Data Lab.
Impacto a Largo Plazo de la IA de Código Abierto
La era de modelos cerrados y propietarios fue anunciada por ChatGPT. OpenAI, fundada en 2015 como una iniciativa de investigación abierta, cambió su postura en 2023. Ilya Sutskever, cofundador de OpenAI, admitió a The Verge que compartir investigaciones fue un error motivado por preocupaciones de competencia y seguridad.
En contraste, el principal científico de IA de Meta, Yann LeCun, abogó por el lanzamiento comercial de Llama 2, enfatizando que los modelos de lenguaje grande son una infraestructura crucial que debe permanecer abierta. Carlsson reconoció que comparar ChatGPT y Llama es un poco como comparar manzanas con naranjas, siendo Llama 2 revolucionario debido a su naturaleza de código abierto y licencias comerciales, que permiten el ajuste fino y operación local.
Aunque reconoció a ChatGPT como fundamental para llevar los LLM a la conciencia pública, argumentó que sus modelos subyacentes, GPT 3.5 y 4, son limitados y deberían utilizarse principalmente como prueba de concepto.
Matt Shumer, CEO de Otherside AI, observó que el impacto de Llama probablemente se deriva de los cimientos establecidos por ChatGPT. Dijo: “Hay cientos de empresas que comenzaron el año pasado y que no habrían sido posibles sin Llama y los desarrollos posteriores”.
El ex CEO de Neeva, Sridhar Ramaswamy, elogió a Llama 2 como el primer modelo de IA de código abierto verdaderamente capaz, comparándolo con un posible paisaje de modelos en la nube donde unas pocas empresas podrían monopolizar las capacidades de IA. En cambio, Meta hizo que Llama fuera accesible.
La Fuga Temprana de Llama y Sus Consecuencias
Lanzado en febrero, Llama destacó por sus variados tamaños de modelo, desde 7 mil millones hasta 65 mil millones de parámetros. El modelo 13B de Llama superó a GPT-3 en muchos parámetros de procesamiento de lenguaje natural, y su modelo más grande rivalizó con modelos de primera categoría como PaLM y Chinchilla. Inicialmente, Meta proporcionó pesos de modelo a académicos y investigadores seleccionados, incluida Stanford para su proyecto Alpaca.
Después de una fuga en 4chan, desarrolladores de todo el mundo tuvieron acceso a un LLM de nivel GPT, lo que resultó en un aumento de derivados. En julio, Meta puso Llama 2 a disposición de forma gratuita para su uso comercial, con Microsoft integrándolo en su servicio en la nube Azure.
Este fue un momento crucial, ya que las discusiones sobre la regulación de la IA se intensificaron. En junio, senadores de EE. UU. expresaron preocupaciones sobre la fuga de Llama, destacando el posible uso indebido en diversas actividades perjudiciales.
A pesar de estos desafíos, Meta reafirmó su compromiso con la IA de código abierto. En una reunión de junio, Mark Zuckerberg enfatizó la integración de la IA generativa en todos los productos de Meta y reafirmó la dedicación de la empresa a un "enfoque de ciencia abierta" en la investigación de IA.
Meta: Defensor de la Investigación Abierta
Meta ha defendido de manera constante la investigación abierta, particularmente al fomentar un ecosistema alrededor del marco PyTorch. A medida que 2023 se aproxima a su fin, Meta celebrará el décimo aniversario de la iniciativa Fundamental AI Research (FAIR), cuyo objetivo es avanzar en la IA a través de la investigación abierta para el bien público.
Joelle Pineau, vicepresidenta de investigación de IA en Meta, se unió a la organización en 2017 debido a su compromiso con la ciencia abierta, que enfatizó como parte de los valores fundamentales de Meta. “La razón por la que me uní sin buscar en otro lado fue el compromiso con la ciencia abierta”, reflexionó.
Sin embargo, Pineau señaló un cambio en la motivación detrás de la investigación abierta. Mientras que los objetivos iniciales se centraron en mejorar la calidad de la investigación, desarrollos recientes han impulsado significativamente la productividad en todo el ecosistema de IA, empoderando a numerosas startups con modelos alternativos.
Aun así, advirtió que Meta no garantiza constantes lanzamientos abiertos; cada proyecto pasa por un meticuloso análisis de riesgos y beneficios.
Reflexiones sobre Llama: Precisión sobre Perfección
Angela Fan, científica investigadora de Meta FAIR involucrada en Llama y sus seguimientos, enfatizó el cuidadoso trabajo que se realizó para crear los modelos Llama. “Aunque la tecnología sigue desarrollándose, podemos crear herramientas interesantes y desarrollar una integración consistente en nuestras aplicaciones”, afirmó.
Meta busca retroalimentación continua de su comunidad de desarrolladores y startups que utilizan Llama para diversas aplicaciones, con el objetivo de refinar futuras iteraciones.
Fan destacó la importancia de la precisión y la preparación meticulosa en el desarrollo de Llama. No se trata solo de grandes avances; se trata de ejecutar numerosas tareas más pequeñas de manera efectiva a lo largo del tiempo.
Defensa de la IA de Código Abierto
Vipul Ved Prakash, cofundador de Together—una startup reconocida por crear el conjunto de datos RedPajama—coincidió en que Llama y la IA de código abierto son los verdaderos cambias juegos de 2023. Al desarrollar modelos de alta calidad en una amplia red de empresas y organizaciones, los costos se distribuyen efectivamente, ayudando a las startups a mitigar los gastos de construcción de modelos.
Sin embargo, a medida que los reguladores comienzan a examinar la IA de código abierto, los defensores enfatizan la necesidad de salvaguardar el acceso a estos modelos. En una reciente Cumbre de Seguridad en el Reino Unido, las preocupaciones sobre los riesgos de los sistemas avanzados de IA fueron predominantes.
A pesar de estas preocupaciones, una coalición de defensores de la IA de código abierto, incluidos LeCun y el cofundador de Google Brain, Andrew Ng, lanzó un comunicado afirmando que la IA abierta es “un antídoto, no un veneno”.
Debate en Curso: Llama vs. ChatGPT
El debate sobre Llama versus ChatGPT sigue generando discusiones entre expertos. Mientras que algunos creen firmemente que ChatGPT sigue siendo la historia dominante del año, otros ven la influencia de Llama como un precursor de cambios transformadores en la IA.
Nikolaos Vasiloglou, vicepresidente de investigación de ML en RelationalAI, insistió: “Sin lugar a dudas, ChatGPT es un cambio de juego”, gracias a su eficiencia operativa e ingenieril. John Lyotier, CEO de TravelAI, expresó este sentimiento, destacando el papel de ChatGPT en hacer que la IA sea accesible para usuarios comunes.
Por otro lado, Ben James, CEO de Atlas, observó que Llama ha revitalizado la investigación y la innovación de una manera que ChatGPT no lo hizo, sugiriendo implicaciones duraderas.
En última instancia, ambos modelos han contribuido significativamente al paisaje de la IA. Mientras ChatGPT encendió el interés general en la IA generativa, Llama está preparado para moldear su impacto futuro. Como articuló Curran, el fenómeno de la IA generativa en 2023 no habría ocurrido sin ChatGPT, pero el impulso por aplicaciones innovadoras será impulsado significativamente por la comunidad de código abierto.
A largo plazo, tanto los modelos propietarios como los de código abierto coexistirán. Sin embargo, sin modelos de código abierto como Llama 2—ampliamente adoptado por desarrolladores empresariales—el panorama de la IA generativa sería considerablemente menos avanzado y excesivamente nichado. La comunidad de código abierto juega un papel crucial en impulsar significativos avances a largo plazo en este emocionante campo.
Clasificación
