OctoAI, basé à Seattle, a lancé OctoStack, une plateforme conçue pour permettre aux entreprises de déployer des modèles d'IA générative privés. Cette solution clé en main peut être utilisée dans un cloud privé virtuel ou sur site, offrant un accès à une inférence optimisée, une personnalisation des modèles et une gestion des actifs. OctoAI vise à donner aux entreprises la flexibilité de développer et d'exploiter des applications d'IA générative adaptées à leurs besoins spécifiques.
« Construire des applications d'IA générative viables et pérennes nécessite plus qu'une simple inférence cloud abordable », a déclaré Luis Ceze, PDG d'OctoAI. « La portabilité matériel, l'intégration des modèles, le réglage fin et la répartition de charge sont des défis de bout en bout qui exigent des solutions complètes. »
OctoStack prend en charge le réglage fin et le déploiement de divers modèles d'IA open source et commerciaux, y compris la famille Llama de Meta, le modèle 8x8B de Mistral et Stable Diffusion. Cependant, il n'inclut pas le modèle Claude d'Anthropic, qui est exclusivement disponible dans le cloud. « Nous proposons des modèles open source hautement performants que les clients peuvent contrôler et personnaliser pleinement », a ajouté Ceze.
Solutions entièrement gérées vs solutions autogérées
Cette sortie fait suite à l'offre précédente d'OctoAI, un service d'infrastructure auto-optimisée. Ceze a souligné qu'OctoStack est une solution autogérée, car la demande pour des déploiements privés a augmenté avec une utilisation atteignant « des milliards de tokens par jour ». Il a comparé cela à l'hébergement d'un blog sur un serveur privé plutôt que sur une plateforme partagée, soulignant l'importance du contrôle des données pour les entreprises.
« À mesure que les entreprises adoptent de plus en plus l'IA, elles s'inquiètent de l'envoi de données via des API en dehors de leur juridiction », a expliqué Ceze. « OctoStack permet aux clients de sélectionner et de personnaliser leurs modèles tout en fournissant une API complètement privée. Nous gérons l'infrastructure pour garantir que les modèles sont fiables et efficaces sur leurs GPU. »
Bien que des centaines de clients utilisent la solution entièrement gérée d’OctoAI, Ceze n’a pas divulgué le nombre d'utilisateurs d'OctoStack. Il a mentionné des entreprises déjà en train d'expérimenter des outils d'IA générative, comme Apate.ai, Otherside AI, Latitude Games et CapitalAI, comme cibles idéales pour cette offre.
Potentiel de croissance de l'IA générative dans les entreprises
Le marché des entreprises présente des opportunités significatives pour l'adoption de l'IA générative. Un rapport de Menlo Ventures a révélé que 400 milliards de dollars ont été dépensés dans les logiciels cloud dans ce secteur l'année dernière, l'IA représentant 70 milliards de dollars (18%), et l'IA générative ne constitué que 2,5 milliards de dollars, soit moins de 1%.
« L'utilisation actuelle et l'intérêt pour l'IA générative parmi les entreprises sont élevés, avec plus de la moitié des CIO prévoyant un déploiement formel », a noté Hyoun Park, PDG d'Amalgam Insights. « Cependant, les capacités de personnalisation et de réglage fin des modèles restent limitées. »
Ray Wang, fondateur de Constellation Research, a observé que de nombreuses organisations s'optimisent pour un paysage multi-fournisseur sans une pile d'IA générative pure. Il considère OctoStack de manière positive, car il centralise les capacités, simplifiant ainsi le processus de déploiement.
OctoAI fait face à une concurrence de startups et d'acteurs établis tels que Nvidia, Databricks et SambaNova Systems. Cependant, Ceze reste confiant dans la position d’OctoAI. « C'est un espace dynamique, et bien que la concurrence s'intensifie, notre focus unique sur les optimisations inter-technologies nous distingue. C’est l'essence même des fondements de notre entreprise. »
Classement
