Les transformateurs jouent un rôle essentiel dans le paysage de l'IA générative, mais ils ne sont pas la seule méthode de développement de modèles. AI21 a lancé aujourd'hui de nouvelles itérations de son modèle Jamba, intégrant des transformateurs avec une approche de modèle d'Espace d'État Structuré (SSM). Les versions mini et large de Jamba 1.5 améliorent les innovations introduites avec Jamba 1.0 en mars. Grâce à une méthode SSM appelée Mamba, Jamba vise à fusionner les points forts des transformateurs et des SSM. Le nom "Jamba" signifie Architecture d'Attention Conjointe et Mamba, promettant une performance et une précision supérieures à ce que chaque modèle peut réaliser seul.
« Nous avons reçu des retours incroyables de la communauté ; c'était le premier - et reste l'un des seuls - modèles à échelle de production basés sur Mamba, » a déclaré Or Dagan, VP Produit chez AI21. « Cette architecture novatrice a suscité des discussions sur l'avenir des architectures LLM et le rôle des transformateurs. »
La série Jamba 1.5 introduit des fonctionnalités améliorées telles que l'appel de fonctions, le mode JSON, les objets document structurés et le mode de citation. Ces ajouts positionnent les modèles comme des candidats idéaux pour développer des systèmes d'IA agentique. Les deux versions disposent d'une fenêtre de contexte substantielle de 256K et utilisent une architecture Mixture-of-Experts (MoE), avec Jamba 1.5 mini proposant 52 milliards de paramètres au total (12 milliards actifs) et Jamba 1.5 large affichant 398 milliards de paramètres au total (94 milliards actifs).
Ces modèles sont disponibles sous une licence ouverte, avec AI21 fournissant un support commercial et des services. L'entreprise a établi des partenariats avec AWS, Google Cloud, Microsoft Azure, Snowflake, Databricks et Nvidia.
Nouvelles Fonctionnalités de Jamba 1.5 : Accélérer l'IA Agentique
Les modèles Jamba 1.5 Mini et Large présentent plusieurs nouvelles capacités pour répondre aux exigences évolutives des développeurs d'IA :
- Mode JSON pour une gestion efficace des données structurées
- Citations pour renforcer la responsabilité
- API Document pour une gestion améliorée du contexte
- Capacité d'appel de fonctions
Selon Dagan, ces améliorations sont cruciales pour les développeurs qui avancent dans les systèmes d'IA agentique. Le JSON (JavaScript Object Notation) est largement utilisé pour créer des workflows d'application, et son inclusion facilite des relations d'entrée/sortie plus claires dans des configurations d'IA complexes, au-delà des usages basiques des modèles de langage. La fonction de citation fonctionne en tandem avec la nouvelle API document.
« Nous apprenons au modèle à attribuer le contenu pertinent aux documents fournis lors de la génération, » a expliqué Dagan.
Différencier le Mode de Citation du RAG
Il est important de faire la distinction entre le mode de citation et la Génération Augmentée par Récupération (RAG), bien que les deux visent à ancrer les sorties de l'IA dans des données fiables. Dagan a précisé que le mode de citation de Jamba 1.5 est conçu pour une intégration fluide avec l'API document, offrant une approche plus holistique par rapport au RAG traditionnel. Dans les configurations standard de RAG, les développeurs connectent un modèle de langage à une base de données vectorielle, nécessitant que le modèle intègre efficacement les données récupérées dans ses sorties.
En revanche, le mode de citation de Jamba 1.5 est intrinsèquement lié au modèle lui-même, lui permettant de récupérer, d'intégrer et de citer explicitement les sources d'information utilisées dans ses sorties. Cette fonctionnalité améliore la transparence et la traçabilité par rapport aux workflows LLM classiques, où le raisonnement du modèle peut être moins clair. AI21 soutient également les solutions RAG et propose un service géré de bout en bout comprenant la récupération et l'indexation de documents.
En regardant vers l'avenir, Dagan a souligné l'engagement d'AI21 à faire évoluer ses modèles pour répondre aux demandes des clients, avec un accent continu sur l'avancement des capacités d'IA agentique. « Nous reconnaissons la nécessité d'innover dans les systèmes d'IA agentique, notamment en ce qui concerne la planification et l'exécution, » a-t-il déclaré.
Classement
