Construire une Infrastructure AI Évolutive : Un Accent sur l'Efficacité Énergétique
Lors de la récente conférence Hot Chips 2024, Trevor Cai, responsable de l'infrastructure matérielle chez OpenAI, a prononcé un discours intitulé « Construire une Infrastructure AI Évolutive ». Cai a souligné que l'augmentation des ressources de calcul peut considérablement améliorer les performances et l'utilité de l'intelligence artificielle, rendant cette perspective essentielle pour l'avenir du développement de l'IA.
Hot Chips est une conférence mondiale incontournable qui met en avant les avancées en matière de processeurs et de technologies connexes. Cette année, les discussions autour de l'intelligence artificielle étaient particulièrement dynamiques, notamment en raison de l'augmentation des besoins énergétiques des centres de données. Des recherches menées par Morgan Stanley indiquent que la consommation d'électricité de l'IA générative devrait augmenter de 75 % chaque année au cours des prochaines années, avec une utilisation d'énergie qui pourrait égaler la consommation totale de l'Espagne d'ici 2026.
L'Essor des Solutions Énergétiquement Efficaces
Au cours des deux jours de l'événement Hot Chips 2024, une attention particulière a été portée au déploiement de serveurs AI évolutifs et économes en énergie. Dans son intervention, Trevor Cai a souligné qu’à mesure que les capacités de calcul augmentent, un investissement substantiel dans l'infrastructure AI est indispensable pour en tirer des bénéfices significatifs. Depuis 2018, les exigences en termes de calcul pour les modèles de pointe ont quadruplé. Alors que l'entraînement du modèle GPT-1 d'origine nécessitait quelques semaines, il requiert aujourd'hui des clusters GPU étendus.
IBM a présenté son futur processeur Telum II et l'accélérateur Spyre, vantant de nouvelles méthodes d'intégration de l'IA visant à réduire la consommation d'énergie et l'empreinte physique. NVIDIA a introduit son architecture de cluster AI Blackwell, capable de former des modèles de jusqu'à 100 millions de milliards de paramètres tout en utilisant le système de quantification Quasar pour minimiser l'usage d'énergie. D'autres entreprises comme Intel, Broadcom et SK Hynix ont également présenté des solutions technologiques énergiquement efficaces, témoignant d'une préoccupation partagée face à l'accroissement des besoins énergétiques.
Demande Énergétique et Défis Environnementaux
L'avancement rapide de l'intelligence artificielle engendre une demande croissante de processeurs plus puissants, entraînant une consommation d'énergie sans précédent dans les centres de données. Selon Bloomberg, les grandes entreprises technologiques ont investi la somme impressionnante de 105 milliards de dollars dans l'infrastructure des centres de données l'année dernière. Avec des besoins de calcul en hausse pour les tâches d'IA, l'Agence Internationale de l'Énergie prévoit que la consommation d'énergie des centres de données mondiaux rejoindra celle du Japon d'ici 2026.
Sasha Luccioni, responsable de Hugging Face, a noté que bien que l'entraînement des modèles AI se fasse généralement en une seule fois, les requêtes fréquentes entraînent une consommation d'énergie accrue. Par exemple, une seule requête à ChatGPT consomme autant d'énergie que de garder une ampoule allumée pendant 20 minutes. Cette demande pose des défis aux ressources électriques et soulève des préoccupations environnementales.
En réponse à la crise énergétique, les entreprises technologiques explorent des sources d'énergie plus propres. Amazon investit dans un centre de données alimenté par l'énergie nucléaire en Pennsylvanie pour réduire sa dépendance vis-à-vis des réseaux électriques traditionnels. Parallèlement, Google développe des puces dédiées à l'IA, améliorant considérablement l'efficacité énergétique.
Les recherches de NVIDIA indiquent que son système de refroidissement par liquide direct peut réduire la consommation d'énergie des centres de données de 28 %. Cependant, le professeur Sinclair de l'Université du Wisconsin met en garde que même si l'on augmente l'efficacité énergétique des tâches individuelles, une hausse globale de l'utilisation pourrait tout de même entraîner une consommation d'énergie totale plus élevée. Ce phénomène, connu sous le nom de paradoxe de Jevons, est pertinent tant sur le plan historique que dans le contexte du développement moderne de l'IA.
Conclusion
L'évolution rapide de la technologie AI, conjuguée à des demandes énergétiques croissantes, oblige les entreprises technologiques à découvrir des solutions innovantes et durables. Les discussions lors de Hot Chips 2024 reflètent un focus collectif de l'industrie sur les technologies énergiquement efficaces, traçant la voie pour le développement futur de l'infrastructure AI.
Classement
