Elon Musk dévoile le plus grand cluster d'entraînement en IA au monde avec des projets d'ajout de 100 000 GPU.

Le cluster de calcul en intelligence artificielle d'Elon Musk, Colossus, est officiellement opérationnel et devrait doubler sa puissance de traitement dans un proche avenir.

Le 3 septembre, Musk, le PDG de Tesla, a annoncé sur la plateforme X que la dernière création de xAI, le cluster de formation d'IA appelé Colossus, a été lancé. L'équipe a achevé la configuration en seulement 122 jours et prévoit d'ajouter 100 000 GPU dans les mois à venir, dont 50 000 exploitant les avancés GPU Nvidia H200, ce qui devrait encore améliorer ses capacités de traitement.

L'annonce de Colossus a suscité un intérêt considérable dans l'industrie. Cathie Wood, PDG de la société de capital-risque ARK Invest, a félicité Musk, qualifiant cet accomplissement d'« impressionnant » et laissant entrevoir d'autres développements majeurs de xAI à l'avenir.

Des rapports de début d'année dernière indiquaient que Musk se procurait un nombre important de GPU pour Tesla. Colossus a été révélé pour la première fois en mai et a commencé à fonctionner en juillet. Lors d'un discours le 25 mai, Musk a évoqué son ambition de créer un superordinateur désigné comme la « super usine de puissance de calcul », censée être quatre fois plus puissante que ses concurrents les plus proches, en utilisant les GPU H100 de Nvidia.

Le 22 juillet, Musk a déclaré que l'équipe de xAI, avec d'autres partenaires, avait commencé la formation sur le Memphis Supercluster. Composé de 100 000 GPU H100 refroidis par liquide fonctionnant sur une structure RDMA unique, Colossus est présenté comme « le cluster de formation d'IA le plus puissant au monde ». Musk vise à former « la plus forte IA au monde, mesurée selon divers critères », d'ici décembre.

Le modèle Grok de xAI sera entraîné sur Colossus. Fondée en juillet de l'année dernière, la mission de xAI est de « comprendre la véritable nature de l'univers » tout en collaborant étroitement avec des entreprises comme X et Tesla. En novembre, xAI a lancé son premier grand modèle, Grok-1, et lors d'une version bêta du 13 août, il a introduit des capacités de génération d'images avec Grok-2. Musk a indiqué que Grok-3 sera entraîné sur Colossus, avec un lancement prévu d'ici la fin de l'année.

En mai de cette année, xAI a levé 6 milliards de dollars lors d'un tour de table de financement de Serie B, portant sa valorisation post-money de 18 milliards à 24 milliards de dollars. Tout en faisant avancer la technologie de l'IA, Musk a également exprimé des préoccupations concernant les risques potentiels de sécurité liés à l'IA, appelant à l'établissement de mesures réglementaires.

Le 27 août, Musk a posté en soutien au projet de loi SB 1047 de Californie sur X, qui exige que les modèles d'IA dont les coûts de développement dépassent 100 millions de dollars signalent les risques de sécurité. Cette proposition a suscité des controverses dans l'industrie technologique, de nombreux acteurs s'inquiétant de son potentiel à étouffer l'innovation aux États-Unis. Le projet de loi a rencontré des résistances de la part d'OpenAI, concurrent de xAI.

En résumé, alors que Musk avance dans le développement de l'IA, il reste profondément engagé à aborder ses risques potentiels et à plaider pour des cadres réglementaires appropriés.