Durante testes recentes, um novo modelo de linguagem de grande escala (LLM) demonstrou uma consciência sobre seu processo de avaliação, sugerindo uma possível metacognição—uma compreensão de seus próprios processos de pensamento. Isso gerou discussões sobre a autoconsciência da IA. No entanto, a principal conclusão continua sendo as impressionantes capacidades do modelo, refletindo os avanços observados em LLMs cada vez maiores.
À medida que os LLMs crescem, aumentam também suas habilidades emergentes e os custos de desenvolvimento. Atualmente, os custos de treinamento para os modelos mais avançados alcançam cerca de US$ 200 milhões, levantando preocupações sobre a acessibilidade futura da indústria. Assim como na indústria de semicondutores, onde poucas empresas podem pagar por fábricas de chips de ponta, o setor de IA pode em breve ser dominado por grandes corporações de tecnologia com recursos para desenvolver modelos líderes como o GPT-4 e Claude 3.
A rápida ascensão nos custos de treinamento e capacidades, especialmente aquelas que se aproximam ou superam o desempenho humano, representa um desafio significativo. A Anthropic, um jogador destacado no campo, relatou que o treinamento de seu modelo principal, Claude 3, custa cerca de US$ 100 milhões. Modelos futuros, esperados para 2024 ou início de 2025, podem até alcançar cifras na casa do bilhão.
Compreender esses custos crescentes requer uma análise da complexidade crescente dos LLMs. Cada nova geração conta com mais parâmetros para um entendimento mais profundo, exigindo maiores recursos de dados e computação. Até 2025 ou 2026, os gastos com treinamento podem variar de US$ 5 a US$ 10 bilhões, restringindo o desenvolvimento a um pequeno grupo de grandes corporações e seus parceiros.
A trajetória da indústria de IA reflete a do setor de semicondutores, que passou da fabricação própria de chips para a terceirização da produção à medida que os custos dispararam. Hoje, apenas três empresas—TSMC, Intel e Samsung—conseguem construir fábricas de fabricação avançadas, com a TSMC estimando que uma nova usina de semicondutores de última geração poderia custar cerca de US$ 20 bilhões.
Embora nem toda aplicação de IA exija LLMs de ponta, o impacto do aumento de custos varia. Nos sistemas de computação, a unidade central de processamento (CPU) frequentemente utiliza semicondutores de alta performance, mas opera junto a chips mais lentos que não requerem a tecnologia mais avançada. Da mesma forma, alternativas de LLM menores, como Mistral e Llama3, que utilizam bilhões de parâmetros, podem oferecer soluções eficazes a custos mais baixos. O Phi-3 da Microsoft, um modelo de linguagem pequena (SLM) com 3,8 bilhões de parâmetros, ilustra essa abordagem, reduzindo custos ao se basear em um conjunto de dados menor em comparação com os modelos maiores.
Esses modelos menores podem ser ideais para tarefas específicas que não exigem um conhecimento abrangente em várias áreas. Por exemplo, eles podem ser adaptados para atender a dados específicos de empresas ou necessidades de setores, gerando respostas precisas ou saídas detalhadas de pesquisa. Como bem observou Rowan Curran, analista sênior de IA da Forrester Research: “Você não precisa de um carro esportivo o tempo todo. Às vezes, você precisa de uma minivan ou uma picape."
No entanto, o aumento dos custos no desenvolvimento de IA corre o risco de criar um cenário dominado por poucos grandes players—semelhante aos semicondutores de alto desempenho. Essa consolidação pode sufocar a inovação e a diversidade, limitando as contribuições de startups e empresas menores. Para combater essa tendência, é essencial promover o desenvolvimento de modelos de linguagem especializados, vitais para aplicações de nicho, e apoiar projetos de código aberto e esforços colaborativos. Uma abordagem inclusiva garantirá que as tecnologias de IA sejam acessíveis e benéficas para uma ampla gama de comunidades, fomentando oportunidades de inovação equitativas.
Classificação
