Aller au contenu

IA locale sur un mini PC ou une carte graphique : quel modèle tient sur quel appareil ?

Un modèle d'IA peut aussi tourner sur votre propre ordinateur. Votre texte n'est alors pas envoyé au serveur de quelqu'un d'autre. Ce qui est possible dépend surtout de la mémoire : le modèle doit y tenir. Vous trouverez ici, pour chaque mini PC et chaque carte graphique, les modèles qui tiennent, à quoi ils servent, ce que cela coûte en électricité et ce qui fonctionne moins bien en local.

Le principe

Carte graphique
Le modèle tient dans la mémoire vidéoIl se trouve alors entièrement sur la carte ; selon Ollama, c'est ainsi qu'il fonctionne le mieux. S'il ne tient pas, Ollama en place une partie dans la mémoire vive classique, et les réponses peuvent alors arriver plus lentement.
Mini PC
Le modèle tient dans la mémoire viveSans carte graphique dédiée, le modèle utilise la mémoire vive classique. Le système en a lui aussi besoin d'une partie : Windows 11 exige au moins 4 Go.
Contexte
Plus de texte demande plus de mémoirePlus le modèle retient de texte à la fois (la fenêtre de contexte), plus il lui faut de mémoire. En dessous de 24 Go de mémoire vidéo, Ollama choisit donc par défaut une fenêtre courte d'environ 4 000 tokens (des fragments de mots).

Ce que peut faire un ordinateur actuel

Par type d'appareil : les modèles qui tiennent entièrement en mémoire, et ce à quoi ils servent selon Ollama.

Carte graphique, mémoire vidéo

Carte graphique de 8 Go

Comme la RTX 4060 et la RTX 5060.

Adapté à: texte, image, outils

Tient en mémoire
  • Gemma 3 4B
  • Llama 3.1 8B

Carte graphique de 12 ou 16 Go

12 Go : RTX 4070 et RTX 5070. 16 Go : RTX 5080, ainsi que les RTX 4060 Ti et RTX 5060 Ti dans leur version 16 Go.

Adapté à: texte, image, outils, raisonnement

Tient en mémoire
  • Gemma 3 4B
  • Llama 3.1 8B
  • Gemma 3 12B
  • Qwen3 14B

Carte graphique de 24 ou 32 Go

24 Go : RTX 4090. 32 Go : RTX 5090.

Adapté à: texte, image, outils, raisonnement, programmation

Tient en mémoire
  • Gemma 3 4B
  • Llama 3.1 8B
  • Gemma 3 12B
  • Qwen3 14B
  • gpt-oss 20b
  • Gemma 3 27B
  • Qwen3-Coder 30B
De justesse
  • Qwen3 32B

Mini PC, mémoire vive

Mini PC avec 16 Go

Comme l'Umbrel Home.

Adapté à: texte, image, outils, raisonnement

Tient en mémoire
  • Gemma 3 4B
  • Llama 3.1 8B
  • Gemma 3 12B
  • Qwen3 14B

Mini PC avec 32 Go

Comme le GEEKOM A9 Max dans sa configuration 32 Go.

Adapté à: texte, image, outils, raisonnement, programmation

Tient en mémoire
  • Gemma 3 4B
  • Llama 3.1 8B
  • Gemma 3 12B
  • Qwen3 14B
  • gpt-oss 20b
  • Gemma 3 27B
  • Qwen3-Coder 30B
  • Qwen3 32B

Mini PC avec 64 Go

Comme les GEEKOM A6 et A8 : deux emplacements mémoire, pour un total de 64 Go maximum.

Adapté à: texte, image, outils, raisonnement, programmation

Tient en mémoire
  • Gemma 3 4B
  • Llama 3.1 8B
  • Gemma 3 12B
  • Qwen3 14B
  • gpt-oss 20b
  • Gemma 3 27B
  • Qwen3-Coder 30B
  • Qwen3 32B
  • Llama 3.3 70B

Mini PC avec 128 Go de mémoire partagée

Comme le GEEKOM A9 Mega avec AMD Ryzen AI Max+ 395. Le processeur et la puce graphique se partagent la mémoire.

Adapté à: texte, image, outils, raisonnement, programmation

Tient en mémoire
  • Gemma 3 4B
  • Llama 3.1 8B
  • Gemma 3 12B
  • Qwen3 14B
  • gpt-oss 20b
  • Gemma 3 27B
  • Qwen3-Coder 30B
  • Qwen3 32B
  • Llama 3.3 70B
  • gpt-oss 120b

Un modèle de 70B, comme Llama 3.3, ne tient sur aucune carte graphique dédiée présentée ici ; il vous faut pour cela un mini PC avec 64 Go ou plus. Faire des recherches dans vos propres documents est possible sur tous les appareils ci-dessus : il suffit de faire tourner un petit modèle de recherche comme EmbeddingGemma (622 Mo) à côté d'un modèle conversationnel.

Ce que signifient ces termes

  • Image : le modèle décrit des images et répond à des questions à leur sujet.
  • Outils : le modèle peut faire appel à d'autres programmes et utiliser leur réponse. C'est sur cette capacité que reposent les assistants IA qui exécutent eux-mêmes des tâches (agents).
  • Raisonnement : le modèle réfléchit d'abord étape par étape, séparément de la réponse.
  • Programmation : conçu pour le code et les tâches de programmation.

Catégories selon la bibliothèque et la documentation d'Ollama.

Tous les modèles : ce qui tient sur quoi

La taille correspond à ce que vous téléchargez dans Ollama, le logiciel qui permet de faire tourner des modèles ouverts sur votre propre ordinateur, dans la version par défaut de chaque modèle. Qu'un modèle tienne ou non, c'est notre propre déduction à partir de cette taille : nous laissons un cinquième de la mémoire libre pour le contexte et le reste, et sur un mini PC, nous réservons d'abord 4 Go au système. C'est une indication, pas une mesure.

8B signifie 8 milliards de paramètres : les nombres avec lesquels le modèle calcule. Les modèles plus grands sont destinés aux tâches plus lourdes, mais demandent plus de mémoire.

Mini PC, mémoire vive
ModèleTéléchargement16 GB32 GB64 GB128 GB
Gemma 3 4B3,4 GBtient en mémoiretient en mémoiretient en mémoiretient en mémoire
Llama 3.1 8B4,9 GBtient en mémoiretient en mémoiretient en mémoiretient en mémoire
Gemma 3 12B8,2 GBtient en mémoiretient en mémoiretient en mémoiretient en mémoire
Qwen3 14B9,3 GBtient en mémoiretient en mémoiretient en mémoiretient en mémoire
gpt-oss 20b14 GBne tient pas entièrementtient en mémoiretient en mémoiretient en mémoire
Gemma 3 27B17 GBne tient pas entièrementtient en mémoiretient en mémoiretient en mémoire
Qwen3-Coder 30B19 GBne tient pas entièrementtient en mémoiretient en mémoiretient en mémoire
Qwen3 32B20 GBne tient pas entièrementtient en mémoiretient en mémoiretient en mémoire
Llama 3.3 70B43 GBne tient pas entièrementne tient pas entièrementtient en mémoiretient en mémoire
gpt-oss 120b65 GBne tient pas entièrementne tient pas entièrementne tient pas entièrementtient en mémoire
Carte graphique, mémoire vidéo
ModèleTéléchargement8 GB12 GB16 GB24 GB32 GB
Gemma 3 4B3,4 GBtient en mémoiretient en mémoiretient en mémoiretient en mémoiretient en mémoire
Llama 3.1 8B4,9 GBtient en mémoiretient en mémoiretient en mémoiretient en mémoiretient en mémoire
Gemma 3 12B8,2 GBne tient pas entièrementtient en mémoiretient en mémoiretient en mémoiretient en mémoire
Qwen3 14B9,3 GBne tient pas entièrementtient en mémoiretient en mémoiretient en mémoiretient en mémoire
gpt-oss 20b14 GBne tient pas entièrementne tient pas entièrementde justesse : uniquement avec une fenêtre de contexte courtetient en mémoiretient en mémoire
Gemma 3 27B17 GBne tient pas entièrementne tient pas entièrementne tient pas entièrementtient en mémoiretient en mémoire
Qwen3-Coder 30B19 GBne tient pas entièrementne tient pas entièrementne tient pas entièrementtient en mémoiretient en mémoire
Qwen3 32B20 GBne tient pas entièrementne tient pas entièrementne tient pas entièrementde justesse : uniquement avec une fenêtre de contexte courtetient en mémoire
Llama 3.3 70B43 GBne tient pas entièrementne tient pas entièrementne tient pas entièrementne tient pas entièrementne tient pas entièrement
gpt-oss 120b65 GBne tient pas entièrementne tient pas entièrementne tient pas entièrementne tient pas entièrementne tient pas entièrement
  • tient en mémoire
  • de justesse : uniquement avec une fenêtre de contexte courte
  • ne tient pas entièrement

Si un modèle ne tient pas entièrement dans la mémoire vidéo, Ollama place le reste dans la mémoire vive. Il fonctionne encore, mais les réponses peuvent arriver plus lentement. Pour un mini PC, cela signifie : pas assez de mémoire.

Situation au 23 octobre 2026 ; les modèles et leurs tailles évoluent. Selon OpenAI, 16 Go de mémoire suffisent pour gpt-oss 20b. Sur une carte graphique de 16 Go, il tient de justesse, et sur un mini PC avec 16 Go, il reste trop peu de mémoire une fois la part du système déduite. Pour l'aide à la programmation et les agents, Ollama recommande une fenêtre de contexte d'au moins 64 000 tokens ; prévoyez alors un cran au-dessus.

Mémoire vidéo et électricité par carte

La mémoire vidéo est intégrée à la carte ; vous ne pouvez pas l'augmenter. Les RTX 4060 Ti et RTX 5060 Ti existent en 8 et en 16 Go : vérifiez donc quelle version vous achetez.

L'électricité est calculée pour deux heures par jour à pleine puissance, au prix moyen pour les ménages de 0,26 € le kWh (Eurostat).

CarteMémoire vidéoPuissance à pleine chargeÉlectricité par an
RTX 40608 GB115 W21,83 €84 kWh
RTX 5060 Ti8 / 16 GB180 W34,16 €131 kWh
RTX 407012 GB200 W37,96 €146 kWh
RTX 507012 GB250 W47,45 €183 kWh
RTX 508016 GB360 W68,33 €263 kWh
RTX 409024 GB450 W85,41 €329 kWh
RTX 509032 GB575 W109,14 €420 kWh

Selon NVIDIA, pour sa propre version de la carte. Les cartes d'autres marques peuvent différer.

Carte graphique ou mini PC ?

Carte graphique

Selon Ollama, un modèle fonctionne le mieux lorsqu'il se trouve entièrement sur la carte graphique. Il vous faut toutefois un PC de bureau doté d'une alimentation puissante : pour un PC équipé d'une RTX 5090, NVIDIA indique 1 000 W. La mémoire vidéo est fixe, de 8 à 32 Go pour les cartes ci-dessus.

Mini PC

Compact, et vous pouvez choisir plus de mémoire qu'une carte graphique n'en embarque : jusqu'à 64 Go en barrettes, ou 128 Go de mémoire partagée. Il peut donc accueillir des modèles qui ne tiennent sur aucune carte graphique dédiée. Ceux-ci tournent toutefois depuis la mémoire vive, et les réponses peuvent alors arriver plus lentement. Le même mini PC peut aussi faire tourner votre nœud bitcoin ; comptez alors la mémoire nécessaire aux deux.

Consommation au repos et sur un mini PC

Si vous laissez le PC allumé jour et nuit, la consommation au repos compte aussi. Selon NVIDIA, une RTX 4090 consomme 19 W au repos ; jour et nuit, cela représente 166 kWh par an, sans compter le reste du PC.

Pour un mini PC, le fabricant n'indique généralement que l'enveloppe thermique du processeur (TDP) : de 45 à 120 W pour le GEEKOM A9 Mega. Ce n'est pas une mesure à la prise. Mesurez la consommation avec une prise wattmètre et faites le calcul.

Faire le calcul vous-même

Ce qui fonctionne moins bien en local

Pas suffisant pour tout

Même GEEKOM écrit, à propos de son A9 Max, que pour les modèles plus grands et les questions qui demandent beaucoup de raisonnement ou de connaissances, mieux vaut utiliser un service cloud en complément.

Vitesse variable

La rapidité des réponses dépend de la carte, du modèle, de la longueur du texte et du logiciel. C'est pourquoi nous n'indiquons pas de vitesses.

Fenêtre de contexte courte

En dessous de 24 Go de mémoire vidéo, Ollama choisit par défaut environ 4 000 tokens. Pour la recherche sur Internet, les agents et l'aide à la programmation, Ollama recommande au moins 64 000 tokens, ce qui demande plus de mémoire.

La mémoire se choisit à l'achat

Vous ne pouvez pas ajouter de mémoire vidéo, et sur certains mini PC, comme le GEEKOM A9 Mega, la mémoire vive est elle aussi soudée à la carte mère. Prenez plutôt un peu plus que ce dont vous avez besoin aujourd'hui.

L'électricité devient chaleur

Selon NVIDIA, une RTX 5090 consomme jusqu'à 575 W à pleine charge. Cette électricité finit en chaleur dans votre pièce.

Questions fréquentes

De combien de mémoire vidéo ai-je besoin pour l'IA locale ?

Pour les petits modèles d'environ 8 milliards de paramètres (près de 5 Go), 8 Go suffisent. Avec 12 ou 16 Go, des modèles jusqu'à environ 14 milliards de paramètres tiennent, y compris des modèles qui traitent les images, et sur 16 Go, gpt-oss 20b tient de justesse. Pour des modèles d'environ 30 milliards de paramètres, comme Qwen3-Coder pour la programmation, il vous faut 24 ou 32 Go. Un modèle de 70 milliards de paramètres ne tient sur aucune carte graphique dédiée de notre comparatif.

Puis-je faire tourner une IA locale sur un mini PC sans carte graphique ?

Oui. Ollama utilise alors la mémoire vive, mais les réponses peuvent arriver plus lentement que sur une carte graphique dans laquelle le modèle tient. Avec 32 Go, des modèles jusqu'à environ 20 Go tiennent ; avec 64 Go, un modèle de 70B tient aussi, et avec 128 Go de mémoire partagée, gpt-oss 120b également. Qu'Ollama utilise ou non la puce graphique de votre mini PC dépend de la puce et du système d'exploitation ; Ollama tient à jour une liste à ce sujet.

Un modèle local est-il aussi bon qu'un service d'IA dans le cloud ?

Pas pour tout. Les petits modèles montrent plus vite leurs limites face aux questions difficiles, et même GEEKOM recommande un service cloud en complément pour les modèles plus grands. L'avantage du local : votre texte reste sur votre propre appareil, et chaque question ne vous coûte que l'électricité.

Aller plus loin

Sources