Lors du Mobile World Congress 2024, Qualcomm a présenté des avancées significatives dans les capacités d'IA de ses puces Snapdragon destinées aux smartphones Android. La démonstration a mis en avant une variété d'applications innovantes d'IA, y compris l'édition de médias activée par la voix, la génération d'images sur l'appareil, et des assistants virtuels intelligents alimentés par de grands modèles linguistiques (LLMs) de sociétés telles que Meta.
Une des caractéristiques phares de Qualcomm est la capacité de faire fonctionner un assistant de langage et de vision (LLaVa) directement sur les smartphones. Cet assistant combine des capacités conversationnelles similaires à ChatGPT avec des fonctionnalités de traitement d'images de Google Lens. Les utilisateurs peuvent télécharger des images de plats et poser des questions sur leur contenu. L'assistant IA utilise un modèle multimodal de plus de 7 milliards de paramètres pour identifier des ingrédients comme les fruits, fromages, viandes et noix.
Cet assistant prend en charge à la fois les entrées d'images et le dialogue continu, améliorant ainsi l'expérience utilisateur globale. Contrairement à ChatGPT et Copilot d'OpenAI, la solution de Qualcomm traite les données directement sur l'appareil, ce qui se traduit par des temps de réponse plus rapides et une meilleure confidentialité. Qualcomm souligne que cet assistant virtuel basé sur LLaVa renforce la confidentialité, la fiabilité et la personnalisation pour les utilisateurs.
De plus, Qualcomm a introduit des capacités de génération d'images basées sur la technologie LoRA (Low-Rank Adaptation). Cette approche se distingue des outils d'IA générative conventionnels tels que DALL·E en optimisant le processus d'apprentissage grâce à une réduction des paramètres du modèle. Cette optimisation conduit à des exigences de mémoire moindres et à des vitesses de traitement plus rapides, rendant LoRA plus efficace pour les appareils mobiles.
Qualcomm a également mis en avant d'autres fonctionnalités d'IA, telles que l'utilisation de l'IA générative pour compléter des zones élargies d'images et les capacités vidéo générées par l'IA, déjà intégrées dans le Samsung Galaxy S24 Ultra. L'exposition de Qualcomm au MWC 2024 souligne son leadership dans la technologie d'IA pour smartphones, et l'industrie attend avec impatience comment ces innovations vont transformer l'expérience utilisateur mobile.