Partez à la découverte de l'utilisation locale des LLM sur PC avec Ollama, AnythingLLM et LM Studio, ainsi que les dernières mises à jour de Project G-Assist...
© NVIDIA
De plus en plus de personnes exécutent des LLMs (Large Language Models) directement sur leurs PC pour réduire les coûts d’abonnement et bénéficier d’une meilleure confidentialité ainsi que d’un contrôle total sur leurs projets.
Grâce aux nouveaux modèles open-source avancés et aux outils gratuits pour les exécuter localement, l’expérimentation de l’IA sur ordinateur portable ou de bureau devient plus accessible que jamais. Les GPU RTX accélèrent ces expériences, offrant une IA rapide et réactive.
De plus, avec les mises à jour de Project G-Assist, les utilisateurs de PC portables peuvent désormais utiliser des commandes vocales et textuelles basées sur l’IA pour contrôler leur machine.
Le dernier article du blog NVIDIA RTX AI Garage met en lumière comment les étudiants, les passionnés d’IA et les développeurs peuvent commencer à utiliser des LLMs sur leurs PC dès aujourd’hui
- Ollama : L’une des façons les plus accessibles de se lancer. Cet outil open-source offre une interface simple pour exécuter et interagir avec des LLMs. Les utilisateurs peuvent glisser-déposer des PDF dans des prompts, tenir des conversations interactives et même essayer des workflows multimodaux combinant texte et images.
- AnythingLLM : Créez un assistant IA personnel. Fonctionnant sur Ollama, il permet aux utilisateurs de charger des notes, des diapositives ou des documents pour créer un tuteur capable de générer des quiz et des fiches de révision pour les travaux scolaires. Privé, rapide et gratuit.
- LM Studio : Explorez des dizaines de modèles. Alimenté par le framework populaire llama.cpp, il fournit une interface ergonomique pour exécuter des modèles localement. Les utilisateurs peuvent charger différents LLMs, discuter avec elles en temps réel et même s’en servir en tant qu’endpoints d’API locale pour une intégration dans des projets personnalisés.
- Project G-Assist : Contrôlez votre PC avec l’IA. Grâce aux dernières mises à jour, les utilisateurs de PC peuvent désormais utiliser la voix ou le texte pour ajuster les paramètres de batterie, de ventilateur et de performance.
Les dernières avancées des PC IA RTX sont les suivantes :
- Ollama bénéficie d’une amélioration majeure des performances sur RTX : Les dernières mises à jour incluent une optimisation allant jusqu’à 50 % pour le modèle gpt-oss-20B d’OpenAI et des modèles Gemma 3 jusqu’à 60 % plus rapides, ainsi qu’une planification plus intelligente des modèles pour réduire les problèmes de mémoire et améliorer l’efficacité multi-GPU.
- Llama.cpp et GGML optimisés pour RTX : Les dernières mises à jour offrent une inférence plus rapide et plus efficace sur les GPU RTX, incluant le support du modèle NVIDIA Nemotron Nano v2 9B, la fonction Flash Attention activée par défaut et les optimisations du noyau CUDA.
- Téléchargez la mise à jour G-Assist v0.1.18 via l’application NVIDIA, qui propose de nouvelles commandes pour les utilisateurs de PC portables et une qualité de réponse améliorée.
- Microsoft a publié Windows ML avec NVIDIA TensorRT pour l’accélération RTX, offrant une inférence jusqu’à 50 % plus rapide, un déploiement simplifié et un support pour les LLMs, les modèles de diffusion et autres types de modèles sur les PC Windows 11.
