Meta AI, la société derrière Llama 2, a dévoilé Code Llama 70B, un modèle de génération de code amélioré capable d'écrire dans plusieurs langages de programmation comme Python, C++, Java et PHP en se basant sur des requêtes en langage naturel ou des extraits de code existants. Ce nouveau modèle promet une génération de code plus rapide, précise et efficace que jamais.
En tant que l'un des plus grands modèles d'intelligence artificielle open source pour la génération de code, Code Llama 70B établit une nouvelle référence dans le domaine. La génération de code a longtemps été un objectif pour les informaticiens, cherchant à rationaliser le développement logiciel et à libérer de nouveaux niveaux de créativité. Avec Code Llama 70B, les utilisateurs peuvent demander au modèle de générer du code, de modifier facilement du code existant ou de convertir du code entre différents langages.
Cependant, la génération de code présente des défis spécifiques. Contrairement à la flexibilité du langage naturel, la programmation nécessite précision et conformité à une syntaxe stricte. De plus, les tâches de codage peuvent être complexes et nécessitent un contexte étendu. Des modèles avancés comme Code Llama 70B surmontent ces obstacles grâce à un entraînement sur d'énormes quantités de données, une puissance de calcul substantielle et une intelligence sophistiquée.
Code Llama 70B est un modèle de langage de pointe (LLM) formé sur 500 milliards de tokens de données liées au code. Cette formation lui confère une fenêtre de contexte élargie de 100 000 tokens, permettant la génération et la compréhension de structures de code complexes.
Basé sur Llama 2, l'un des LLM les plus étendus avec 175 milliards de paramètres, Code Llama 70B est affiné pour la génération de code grâce à une technique appelée auto-attention, qui améliore sa capacité à discerner les relations dans le code.
Nouveaux Standards en Précision et Adaptabilité
Une caractéristique notable de Code Llama 70B est CodeLlama-70B-Instruct, une variante spécialement optimisée pour interpréter des instructions en langage naturel. Cette version a obtenu un score de 67,8 sur HumanEval—un benchmark évaluant la correction fonctionnelle de la génération de code—surpassant les modèles open-source précédents comme CodeGen-16B-Mono (29,3) et StarCoder (40,1), tout en se rapprochant des scores des modèles fermés tels que GPT-4 (68,2) et Gemini Pro (69,4). CodeLlama-70B-Instruct gère efficacement des tâches comme le tri de données, la recherche et l'implémentation d'algorithmes.
De plus, Code Llama 70B comprend CodeLlama-70B-Python, affiné spécifiquement pour Python, l'un des langages de programmation les plus populaires au monde. Entraîné sur 100 milliards supplémentaires de tokens de code Python, cette variante excelle dans des tâches comme le web scraping, l'analyse de données, l'apprentissage automatique et le développement web.
Accessible à des fins de recherche et commerciales
Code Llama 70B est librement téléchargeable sous la même licence que Llama 2, offrant aux chercheurs et aux utilisateurs commerciaux la liberté de l'utiliser et de le modifier. Le modèle est accessible sur des plateformes telles que Hugging Face, PyTorch, TensorFlow et Jupyter Notebook. Meta AI fournit de la documentation et des tutoriels pour les utilisateurs souhaitant adapter le modèle à diverses applications.
Mark Zuckerberg, PDG de Meta AI, a exprimé son enthousiasme pour cette sortie, déclarant : « Nous open source un Code Llama nouveau et amélioré avec un modèle de 70 milliards de paramètres. Écrire et modifier du code est l'un des usages les plus significatifs de l'IA aujourd'hui. La capacité de coder est cruciale pour accroître la capacité des modèles d'IA à traiter des informations dans divers domaines. J'ai hâte d'incorporer ces avancées dans Llama 3 et les modèles futurs. »
Code Llama 70B est sur le point d'influencer significativement la génération de code et le paysage du développement logiciel, offrant un outil puissant pour coder et apprendre. Il abaisse les barrières pour les aspirants programmeurs en fournissant des conseils en langage naturel et pourrait ouvrir la voie à des applications innovantes telles que la traduction de code, la synthèse, la documentation, l'analyse et le débogage.
Téléchargez Code Llama 70B directement depuis les canaux de Meta AI pour plus d'informations et d'accès à la documentation sur GitHub et Hugging Face.
Classement
