Poderia um camelídeo peludo reivindicar o título da maior história de IA de 2023? Se falamos do Llama, o grande modelo de linguagem da Meta que revolucionou o cenário de pesquisa em IA em fevereiro, seguido pelo lançamento comercial do Llama 2 em julho e do Code Llama em agosto, eu argumentaria que sim.
Já consigo ouvir a reação. “O quê? ChatGPT é claramente a maior história de IA de 2023!” Quase consigo ouvir a multidão clamando. “O ChatGPT da OpenAI foi lançado em 30 de novembro de 2022 e alcançou 100 milhões de usuários em fevereiro! Ele trouxe a IA generativa para a cultura popular!”
Mas escute-me. Em minha opinião, o ChatGPT é, sem dúvida, um divisor de águas na IA generativa. Como observou Rowan Curran, analista da Forrester, foi “a faísca que acendeu o fogo em torno da IA generativa.”
No entanto, fevereiro marcou um momento crucial com o lançamento do Llama, o primeiro Modelo de Linguagem de Grande Escala (LLM) gratuito e 'open source', que gerou um intenso debate sobre a IA open source que perdura até hoje. Enquanto outras grandes empresas de tecnologia, empresas de LLM e formuladores de políticas examinavam a segurança e os desafios computacionais dos modelos de IA com acesso aberto, a IA open source ganhou tração significativa.
De acordo com a Meta, desde o lançamento do Llama, a comunidade de IA open source criou mais de 7.000 derivados na plataforma Hugging Face, resultando em modelos notáveis como Koala, Vicuna, Alpaca, Dolly e RedPajama. Embora existam outros modelos open source—como Mistral, Hugging Face e Falcon—o Llama foi o primeiro apoiado por dados e recursos de uma grande empresa de tecnologia.
Poderíamos comparar o ChatGPT a um filme blockbuster de 2023, como Barbie, enquanto o Llama e seus equivalentes open source se assemelham a um vasto Universo Marvel, repleto de spinoffs que prometem um impacto duradouro na área da IA.
Essa tendência levará a “mais aplicações impactantes de IA generativa no mundo real, consolidando ainda mais as bases open source do campo”, disse Kjell Carlsson, chefe de estratégia e evangelismo de ciência de dados da Domino Data Lab.
Impacto a Longo Prazo da IA Open Source
A era dos modelos fechados e proprietários foi inaugurada pelo ChatGPT. A OpenAI, fundada em 2015 como uma iniciativa de pesquisa aberta, mudou sua postura em 2023. Ilya Sutskever, cofundador da OpenAI, admitiu ao The Verge que compartilhar pesquisas foi um erro motivado por preocupações de segurança e competitividade.
Em contraste, Yann LeCun, cientista-chefe de IA da Meta, defendeu o lançamento comercial do Llama 2, enfatizando que grandes modelos de linguagem são uma infraestrutura crucial que deve permanecer aberta. Carlsson reconheceu que comparar ChatGPT e Llama é como comparar maçãs com laranjas, sendo o Llama 2 revolucionário devido à sua natureza open source e licenciamento comercial, possibilitando ajustes finos e operação local.
Embora tenha reconhecido o ChatGPT como fundamental para trazer os LLMs à consciência pública, ele argumentou que seus modelos subjacentes, GPT 3.5 e 4, são limitados em escopo e devem ser usados principalmente para provas de conceito.
Matt Shumer, CEO da Otherside AI, observou que o impacto do Llama provavelmente decorre da base estabelecida pelo ChatGPT. Ele afirmou: “Há centenas de empresas iniciadas no último ano que não teriam sido possíveis sem o Llama e os desenvolvimentos subsequentes.”
Sridhar Ramaswamy, ex-CEO da Neeva, elogiou o Llama 2 como o primeiro modelo de IA open source genuinamente capaz, comparando-o ao potencial do modelo de nuvem, onde algumas empresas poderiam monopolizar as capacidades de IA. Em vez disso, a Meta tornou o Llama acessível.
O Vazamento Inicial do Llama e Suas Consequências
Lançado em fevereiro, o Llama destacou-se por seus tamanhos variados de modelo, de 7 bilhões a 65 bilhões de parâmetros. O modelo 13B do Llama superou o GPT-3 em muitos benchmarks de NLP, e seu maior modelo rivalizou com modelos de primeira linha como PaLM e Chinchilla. Inicialmente, a Meta forneceu pesos de modelo a acadêmicos e pesquisadores selecionados, incluindo Stanford para seu projeto Alpaca.
Após um vazamento no 4chan, desenvolvedores do mundo todo tiveram acesso a um LLM de nível GPT, resultando em uma onda de derivados. Em julho, a Meta disponibilizou o Llama 2 para uso comercial gratuito, com a Microsoft integrando-o em seu serviço de nuvem Azure.
Esse foi um momento crucial, pois as discussões sobre regulação de IA estavam em ascensão. Em junho, senadores dos EUA expressaram preocupações sobre o vazamento do Llama, destacando o potencial uso indevido em várias atividades prejudiciais.
Apesar desses desafios, a Meta reforçou seu compromisso com a IA open source. Em uma reunião em junho, Mark Zuckerberg enfatizou a integração da IA generativa em todos os produtos da Meta, reafirmando a dedicação da empresa a uma abordagem “baseada na ciência aberta” para a pesquisa em IA.
Meta: Defensora da Pesquisa Aberta
A Meta tem sido consistentemente uma defensora da pesquisa aberta, principalmente ao fomentar um ecossistema em torno da estrutura PyTorch. Com o término de 2023, a Meta comemorará o décimo aniversário da iniciativa Fundamental AI Research (FAIR), voltada para o avanço da IA por meio da pesquisa aberta para o bem público.
Joelle Pineau, VP de pesquisa em IA da Meta, ingressou na organização em 2017 devido ao seu compromisso com a ciência aberta, algo que ela destacou como parte dos valores fundamentais da Meta. “A razão pela qual eu me juntei sem olhar em outro lugar é o compromisso com a ciência aberta,” refletiu.
No entanto, Pineau observou uma mudança na motivação por trás da pesquisa aberta. Enquanto os objetivos iniciais se concentravam em aprimorar a qualidade da pesquisa, desenvolvimentos recentes impulsionaram significativamente a produtividade em todo o ecossistema de IA, capacitando inúmeras startups com modelos alternativos.
Todavia, ela alertou que a Meta não garante lançamentos constantes abertos; cada projeto passa por uma análise meticulosa de riscos e benefícios.
Reflexões sobre o Llama: Precisão em vez de Perfeição
Angela Fan, cientista de pesquisa da Meta FAIR envolvida no Llama e suas sequências, enfatizou o trabalho cuidadoso que foi realizado na criação dos modelos Llama. “Embora a tecnologia ainda esteja em desenvolvimento, podemos criar ferramentas interessantes e desenvolver uma integração consistente em nossos aplicativos,” afirmou.
A Meta busca feedback contínuo de sua comunidade de desenvolvedores e startups que utilizam o Llama para diversas aplicações, visando aprimorar iterações futuras.
Fan destacou a importância da precisão e preparação meticulosa no desenvolvimento do Llama. Não se trata apenas de grandes inovações; trata-se de executar numerosas tarefas menores de forma eficaz ao longo do tempo.
Defesa da IA Open Source
Vipul Ved Prakash, cofundador da Together—uma startup reconhecida por criar o conjunto de dados RedPajama—concordou com a crença de que o Llama e a IA open source são os verdadeiros transformadores de 2023. Ao desenvolver modelos de alta qualidade dentro de uma vasta rede de empresas e organizações, os custos são efetivamente distribuídos, ajudando startups a mitigar despesas de construção de modelos.
No entanto, à medida que os reguladores começam a examinar a IA open source, defensores enfatizam a necessidade de proteger o acesso a esses modelos. Em um recente Safety Summit no Reino Unido, preocupações sobre os riscos de sistemas avançados de IA foram predominantes.
Apesar dessas preocupações, uma coalizão de defensores da IA open source, incluindo LeCun e Andrew Ng, cofundador do Google Brain, divulgou uma declaração afirmando que a IA open é “um antídoto, não um veneno.”
Debate em Andamento: Llama vs. ChatGPT
O debate Llama versus ChatGPT continua a provocar discussões entre especialistas. Enquanto alguns acreditam firmemente que o ChatGPT permanece como a história dominante do ano, outros veem a influência do Llama como um precursor de mudanças transformadoras na IA.
Nikolaos Vasiloglou, VP de pesquisa ML da RelationalAI, insistiu: “Sem dúvida, o ChatGPT é um divisor de águas,” graças à sua eficiência de engenharia e operacional. John Lyotier, CEO da TravelAI, ecoou esse sentimento, destacando o papel do ChatGPT em tornar a IA acessível para usuários comuns.
Em contrapartida, Ben James, CEO da Atlas, observou que o Llama revitalizou a pesquisa e a inovação de uma forma que o ChatGPT não fez, sugerindo implicações duradouras.
No final, ambos os modelos contribuíram amplamente para o cenário da IA. Enquanto o ChatGPT acendeu um interesse generalizado pela IA generativa, o Llama está prestes a moldar seu impacto futuro. Como Curran articulou, o fenômeno da IA generativa em 2023 não teria ocorrido sem o ChatGPT, mas o impulso por aplicações inovadoras será significativamente alimentado pela comunidade open source.
A longo prazo, modelos proprietários e open source coexistirão. No entanto, sem modelos open source como o Llama 2—amplamente adotado por desenvolvedores empresariais—o cenário da IA generativa seria consideravelmente menos avançado e excessivamente nichado. A comunidade open source desempenha um papel crucial na condução de avanços significativos a longo prazo neste campo empolgante.
Classificação
