À mesure que les modèles d’IA font leur apparition dans les smartphones, le discours sur la sécurité des données prend également rapidement de l’ampleur. Les appareils haut de gamme dotés d'unités de traitement neuronal dédiées sont capables de gérer une partie des tâches d'IA sur l'appareil lui-même, mais s'appuient sur le traitement cloud pour effectuer des tâches plus exigeantes. Apple emprunte également la même voie en externalisant une partie du traitement de l’IA vers les serveurs d’Open AI. Si cela constitue une rupture pour vous, il existe des solutions de contournement qui pourraient vous intéresser. Aujourd'hui, nous vous proposons le moyen le plus simple d'exécuter des LLM sur votre téléphone Android localement.
Top 10 des gadgets utiles pour la saison de la mousson (2024)
En savoir plus:Comment créer un disque local D sous Windows 11 : un guide étape par étape
L’application MLC Chat vaut-elle le coup ?
L'application MLC Chat permet d'exécuter une gamme de LLM localement sur votre téléphone Android. Bien sûr, cela signifie que votre téléphone Android doit disposer d’un processeur performant et à la hauteur de la tâche. Les appareils exécutant Snapdragon 8 Gen 2 ou Gen 3 devraient être idéaux pour cette tâche. Cependant, cela ne signifie pas que vous ne rencontrerez pas de retards ou de problèmes lors de l'exécution des modèles de langage en utilisant les ressources limitées de votre produit phare Android.
Heureusement, MLC Chat propose six LLM parmi lesquels choisir. Cela inclut certains des modèles les plus populaires comme Llama 3 qui est utilisé par Meta AI. Vous pouvez également utiliser un petit modèle de langage comme Phi 2 de Microsoft pour une expérience beaucoup plus fluide. Bien entendu, vous ne pouvez effectuer des conversations textuelles avec les LLM qu'à l'aide de MLC Chat. Des tâches plus exigeantes telles que la génération d'images ne sont toujours pas possibles en utilisant uniquement les ressources de l'appareil.
Installez et exécutez des LLM locaux sur votre téléphone Android à l'aide de MLC Chat
Étape 1 : Installerl'application MLC Chat sur votre téléphone Androiden utilisant ce lien.
– –
Étape 2 :Puisque vous téléchargez l'application à partir d'une source tierce, vous devrez indiquer à votre navigateur Webautorisationpour télécharger et installer MLC Chat à partir d’une source inconnue.
Étape 3 : Lancementl'application MLC Chat sur votre téléphone.
Étape 4 :Parcourez la liste desGrands modèles de langageproposés. Au moment de la rédaction de cet article, 6 LLM sont disponibles sur MLC Chat : Gemma 2B, Llama 2 7B, Llama 3 8B Instruct, Phi 2, Mistral 7B Instruct et RedPajama Incite Chat 3B.
Étape 5 :Frappez leicône de flèche vers le basà côté d'un modèle de langue pour le télécharger sur votre appareil.
Étape 6 :Appuyez sur leicône de discussionpour engager une conversation avec le modèle d’IA.
Foire aux questions (FAQ)
Comment puis-je exécuter un modèle d'IA intégré sur mon téléphone Android ?
Téléchargez l'application MLC Chat sur votre téléphone, sélectionnez un LLM et appuyez sur l'icône de discussion pour lancer une conversation avec le modèle d'IA. Tout le traitement de l'IA aura lieu sur votre appareil et ne sera pas externalisé vers un serveur cloud.
Quelle doit être la puissance de mon téléphone pour exécuter un modèle d’IA sur l’appareil ?
L'application MLC Chat ne nécessite pas de NPU dédié pour exécuter un LLM sur votre téléphone. Cependant, il est recommandé d'utiliser un smartphone doté d'un chipset puissant comme le Snapdragon 8 Gen 2 (ou supérieur).
Meta AI sur WhatsApp effectue-t-il son traitement sur mon appareil ?
Non, le chatbot Meta AI sur WhatsApp exporte son traitement vers un serveur cloud. Les données que vous lui fournissez ne se limitent pas à votre appareil.
Comment partager des mots de passe avec votre famille à l'aide de Google Password Manager (2024)
Conclusion
C'est ainsi que vous pouvez exécuter des LLM sur appareil localement sur votre téléphone Android. Étant donné que les LLM sont très gourmands en énergie, attendez-vous à des arrêts fréquents lorsque vous utilisez des modèles d'IA lourds comme Llama 2 sur votre appareil. Si votre téléphone n'a pas la puissance de traitement, nous vous recommandons d'utiliser un LLM léger comme Phi 2.