Elon Musk Revela o Mais Poderoso Cluster de Treinamento de IA do Mundo

Elon Musk lidera pelo menos seis empresas inovadoras: Tesla, SpaceX, Starlink, X (anteriormente Twitter), Neuralink e xAI. No entanto, ele tem planos ainda maiores.

Hoje, no X, Musk anunciou que a xAI—conhecida pelos seus modelos de linguagem grande (LLMs) chamados Grok e um chatbot correspondente disponível para assinantes pagos—começou a treinar no Supercluster de Memphis, Tennessee, considerado "o cluster de treinamento de IA mais poderoso do mundo."

Segundo o veículo de notícias local WREG, o Supercluster de Memphis, localizado na região sudoeste da cidade, representa o maior investimento de capital de um novo entrante na história da área. Contudo, a xAI atualmente não possui um contrato com a Tennessee Valley Authority, necessário para fornecer energia a projetos que superem 100 megawatts.

Equipado com GPUs da Nvidia

Musk revelou que o supercluster conta com 100.000 unidades de processamento gráfico (GPUs) Nvidia H100 refrigeradas por líquido, bastante procuradas por desenvolvedores de IA, incluindo os concorrentes de Musk na OpenAI. Vale destacar que o cluster opera em uma única rede de Acesso Direto à Memória Remota (RDMA), facilitando transferências eficientes de dados entre os nós de computação sem sobrecarregar a unidade central de processamento (CPU).

Objetivo da xAI: IA de ponta até 2024

O objetivo da xAI é treinar seus próprios LLMs no supercluster. Musk expressou sua ambição ao afirmar que a empresa pretende desenvolver "a IA mais poderosa do mundo por todos os critérios" até dezembro de 2024, com o Supercluster de Memphis oferecendo uma "vantagem significativa."

Ceticismo quanto aos prazos

Apesar das muitas conquistas de Musk, ele é conhecido por não cumprir prazos em projetos como veículos totalmente autônomos e missões espaciais. Portanto, há ceticismo em torno do lançamento do novo LLM Grok em dezembro de 2024. No entanto, se o lançamento ocorrer conforme o previsto, poderá aumentar significativamente a vantagem competitiva da xAI.

Com gigantes como OpenAI, Anthropic, Google, Microsoft e Meta concorrendo por avanços em LLMs e SLMs, a xAI precisa apresentar um modelo inovador e valioso para se manter competitiva na intensa corrida por usuários e participação de mercado.

Além disso, relatos sugerem que a Microsoft está colaborando com o CEO da OpenAI, Sam Altman, em um supercomputador de treinamento de IA avaliado em 100 bilhões de dólares, codinome Stargate. Diante desses desenvolvimentos, o Supercluster de Memphis da xAI pode não manter por muito tempo o título de mais poderoso.