Elon Musk dévoile le cluster d'entraînement en IA le plus puissant au monde.

Elon Musk dirige au moins six entreprises pionnières : Tesla, SpaceX, Starlink, X (anciennement Twitter), Neuralink et xAI. Cependant, il vise encore plus haut.

Aujourd'hui sur X, Musk a annoncé qu'xAI, reconnu pour ses modèles de langage de grande taille (LLMs) appelés Grok, et un chatbot correspondant disponible pour les abonnés payants, a commencé son entraînement au Memphis Supercluster dans le Tennessee, présenté comme "le cluster d'entraînement IA le plus puissant au monde".

Selon le média local WREG, le Memphis Supercluster, situé dans le sud-ouest de la ville, représente le plus grand investissement d'un nouvel entrant sur le marché dans l'histoire de la région. Cependant, xAI n'a pas encore de contrat avec la Tennessee Valley Authority, indispensable pour fournir de l’électricité aux projets dépassant 100 mégawatts.

Équipé de GPU Nvidia

Musk a révélé que le supercluster est doté de 100 000 unités de traitement graphique (GPU) Nvidia H100, recherchées par les développeurs d'IA, y compris les concurrents de Musk chez OpenAI. Il est à noter que le cluster fonctionne sur une seule architecture Remote Direct Memory Access (RDMA), facilitant des transferts de données efficaces entre les nœuds de calcul sans surcharger l'unité centrale (CPU).

xAI vise une IA de pointe d'ici 2024

L'objectif d'xAI est de former ses propres LLMs dans le supercluster. Musk a exprimé son ambition, en répondant que l'entreprise prévoit de développer "l'IA la plus puissante du monde selon tous les critères" d'ici décembre 2024, avec le Memphis Supercluster offrant un "avantage significatif".

Scepticisme face aux délais

Malgré les nombreuses réalisations de Musk, il est connu pour ne pas respecter les délais de projets tels que les véhicules entièrement autonomes et les missions spatiales. Cela entraîne un scepticisme concernant le lancement du nouveau LLM Grok en décembre 2024. Cependant, si cela se réalise dans les délais, cela pourrait renforcer considérablement l'avantage concurrentiel d'xAI.

Avec des géants comme OpenAI, Anthropic, Google, Microsoft et Meta tous en compétition pour les avancées en LLMs et SLMs, xAI doit proposer un modèle innovant et précieux pour rester dans la course acharnée de l'IA pour attirer utilisateurs et parts de marché.

De plus, des rapports indiquent que Microsoft collabore avec le PDG d'OpenAI, Sam Altman, sur un superordinateur d'entraînement à l'IA de 100 milliards de dollars, nommé Stargate. Étant donné ces développements, le Memphis Supercluster d'xAI pourrait ne pas détenir longtemps le titre de supercluster le plus puissant.