À l'intérieur de la stratégie IA de Meta : Zuckerberg souligne l'importance de la puissance de calcul, des initiatives open source et des données d'entraînement.

Les appels de résultats de cette semaine chez Big Tech ont mis en avant les avancées de chaque entreprise dans le domaine de l'IA. Google a axé sa discussion sur l'IA générative dans les services de recherche et cloud, tandis que Microsoft a détaillé son intégration de l'IA dans son ensemble technologique. Amazon a présenté des puces IA et Bedrock, ainsi qu'un nouvel assistant de shopping drive par l'IA nommé Rufus. Cependant, Meta s'est distingué en exposant une stratégie d'IA complète.

L'approche de Meta en matière d'IA se démarque par son engagement en faveur de l'open source et la richesse de ses données d'entraînement collectées à partir des publications publiques sur Facebook et Instagram. Lors de l'appel de résultats du quatrième trimestre 2023, le PDG Mark Zuckerberg a souligné la position avantageuse de l’entreprise en matière de développement de l'IA, notamment en termes de ressources informatiques.

L'Infrastructure Informatique de Classe Mondiale de Meta pour l'IA

Zuckerberg a esquissé une stratégie à long terme pour mener la création de produits IA avancés, suggérant que l'atteinte d'une "intelligence générale complète" nécessite une puissance de calcul considérable. Il a noté qu'à la fin de l'année, Meta déploiera environ 350 000 GPU H100, avec une capacité de calcul totale approchant les 600 000 équivalents H100. Cette demande d'infrastructure provenait en grande partie d'Instagram Reels.

Zuckerberg a expliqué : "Nous avons appris des leçons précieuses avec Reels. Initialement, nous avons sous-estimé nos besoins en GPU, ce qui nous a poussés à construire une capacité suffisante pour soutenir à la fois Reels et un service d'IA de taille similaire." Il a ajouté : "Meta joue pour gagner", en prévoyant que l'entraînement des futurs modèles exigera encore plus de ressources informatiques. "Les modèles de langage de pointe ont été entraînés avec environ 10 fois plus de puissance de calcul chaque année," a-t-il précisé. Meta prévoit d'investir massivement dans des centres de données personnalisés et du silicium spécifiquement adaptés à ses charges de travail.

La Stratégie d'IA Open Source de Meta

Zuckerberg a réitéré l'engagement ferme de Meta envers une stratégie open source, malgré le contrôle réglementaire. Il a expliqué : "Notre stratégie consiste à construire et à ouvrir l'infrastructure générale tout en gardant les implementations spécifiques de produit propriétaires." Cela inclut les modèles Llama, en particulier le prometteur Llama 3, et des outils comme PyTorch.

Il a souligné les avantages stratégiques de l'open source, affirmant qu'elle renforce la sécurité, promeut des normes industrielles et attire les développeurs. "L'open source nous aide à recruter les meilleurs talents, essentiels pour dominer dans les nouvelles technologies," a-t-il noté. Fournir des outils comme Llama en open source ne réduit pas l'avantage compétitif de Meta.

Des Données d'Entraînement Abondantes Dépassant Common Crawl

Zuckerberg a souligné la robustesse des données et des mécanismes de retour d'expérience de Meta, affirmant que la richesse des données provenant de Facebook et d'Instagram, comprenant "des centaines de milliards d'images partagées publiquement et des dizaines de milliards de vidéos publiques," dépasse probablement l'ensemble de données Common Crawl, qui collecte d'énormes quantités de données web depuis 2008.

Zuckerberg a détaillé : "Ce qui nous distingue vraiment, c’est notre capacité à créer des boucles de rétroaction efficaces avec des millions d'utilisateurs interagissant avec nos services IA. Cette interaction améliore considérablement nos systèmes d'IA, en particulier avec Reels et les publicités."

L'Engagement de Meta envers le Leadership en IA

Un récent article de Bloomberg a noté que le succès du modèle Llama de Meta a transformé de véritables lamas en mascottes officieuses des événements d'IA open source. Cependant, selon le rapport sur les résultats récents de Meta, l'entreprise semble prête à investir significativement—potentiellement des milliards de dollars—dans sa quête de leadership en IA dans un paysage concurrentiel en rapide évolution.