Même si Nvidia prospère sur le marché de l'IA générative grâce à ses vastes offres matérielles et logicielles, des startups comme Hailo émergent pour rivaliser. Hailo, une startup israélienne, a lancé le Hailo-10, un nouvel accélérateur d'IA générative économe en énergie, conçu spécifiquement pour les dispositifs en périphérie.
Le processeur Hailo-10 permet aux applications d'IA générative de fonctionner sur des dispositifs en périphérie, tels que les véhicules et les robots commerciaux, sans dépendre des centres de données dans le cloud. Hailo affirme que cela améliorera considérablement les performances des modèles tout en réduisant les coûts et la consommation d'énergie.
Parallèlement au lancement du Hailo-10, la société a annoncé une extension de sa levée de fonds de série C, obtenant 120 millions de dollars supplémentaires. Cet investissement, soutenu par de nouveaux et anciens investisseurs de divers secteurs, valorise Hailo à 1,2 milliard de dollars. "Ce financement nous permettra de saisir des opportunités passionnantes dans notre pipeline et nous positionne pour une croissance à long terme," a déclaré Orr Danon, co-fondateur et PDG de Hailo. Il a souligné que l'accélérateur Hailo-10 intégrera l'IA générative de manière fluide dans la vie quotidienne, permettant aux utilisateurs d'exploiter des outils comme les chatbots et les générateurs de contenu avec une flexibilité inégalée.
À quoi s'attendre de l'accélérateur d'IA générative Hailo-10
L'IA générative transforme déjà les entreprises en créant du contenu marketing et en simulant des conversations humaines. Cependant, ses capacités en périphérie restent largement inexplorées. Hailo vise à concrétiser des fonctionnalités sophistiquées, comme des robots capables d'interactions naturelles, grâce à son nouveau processeur.
Alors que le matériel d'IA traditionnel dans les centres de données cloud peut supporter des applications en périphérie, l'informatique cloud souffre souvent de latence due aux délais de traitement des données. Le Hailo-10 surmonte ce défi en exécutant directement des services d'IA générative sur les dispositifs, améliorant ainsi leurs capacités de traitement.
Que ce soit pour automatiser des traductions en temps réel, générer du code logiciel ou créer des images et vidéos à partir de textes, le Hailo-10 permet d’exécuter ces tâches directement sur des PC ou d'autres systèmes en périphérie sans surcharger le CPU ni épuiser la batterie, selon Danon.
Utilisant la même suite logicielle que ses prédécesseurs, Hailo-8 et Hailo-15, le Hailo-10 affiche un rapport puissance-performance impressionnant. Il peut exécuter Llama2-7B à raison de 10 tokens par seconde en consommant moins de 5W, tout en générant des images avec Stable Diffusion 2.1 en moins de 5 secondes.
Avec l'IA générative en périphérie devenant plus immersive, l'accent est mis sur la gestion de grands modèles de langage (LLMs) avec des enveloppes de puissance minimales—idéalement sous cinq watts. Le Hailo-10 atteint jusqu'à 40 TOPS (tera opérations par seconde), établissant une nouvelle référence de performance pour les accélérateurs d'IA en périphérie.
En comparaison, la gamme Jetson de Nvidia, qui gère les charges de travail en IA en périphérie, offre jusqu'à 275 TOPS mais consomme également plus d'énergie. Pour les applications d'IA en périphérie de niveau débutant, l'Orin Nano de Nvidia propose jusqu'à 40 TOPS avec une consommation d'énergie allant de 5W à 15W. Danon a souligné que le Hailo-10 démontre des performances supérieures pour l'inférence par rapport aux solutions basées sur GPU, grâce à son rapport coût-efficacité et à ses besoins en énergie réduits, le rendant adapté aux systèmes en périphérie plus compacts.
Secteurs cibles initiaux pour le Hailo-10
Hailo prévoit de cibler les secteurs du PC et de l'infodivertissement automobile lors de la mise en marché du Hailo-10 au deuxième trimestre 2024. Cependant, il reste à voir quand il s'étendra à des applications telles que les robots alimentés par IA générative, un domaine déjà exploré par Nvidia avec son projet GR00T.
Actuellement, Hailo collabore avec 300 clients mondiaux dans divers secteurs, dont l'informatique, l'automobile, la sécurité, l'industrie 4.0, le commerce de détail et la santé, comprenant de grandes entreprises telles que NEC, Bosch, Schneider Electric, Dell, ABB et Foxconn.
En conclusion, l'accélérateur d'IA générative innovant Hailo-10 pourrait redéfinir l'informatique en périphérie, offrant des alternatives écoénergétiques aux solutions existantes tout en améliorant les capacités d'une variété d'applications.
Classement
