Zum Inhalt springen

Lokale KI auf einem Mini-PC oder einer Grafikkarte: Was passt worauf?

Ein KI-Modell kannst du auch auf deinem eigenen Computer laufen lassen. Deine Texte gehen dann nicht an einen fremden Server. Was möglich ist, hängt vor allem vom Speicher ab: Das Modell muss hineinpassen. Hier siehst du je Mini-PC und Grafikkarte, welche Modelle passen, wofür sie gedacht sind, was das an Strom kostet und was lokal weniger gut klappt.

So funktioniert es

Grafikkarte
Das Modell passt in den Grafikspeicher (VRAM)Dann liegt es komplett auf der Karte; laut Ollama läuft es so am besten. Passt es nicht, lagert Ollama einen Teil in den normalen Arbeitsspeicher aus, und dann können die Antworten langsamer kommen.
Mini-PC
Das Modell passt in den ArbeitsspeicherOhne separate Grafikkarte nutzt das Modell den normalen Arbeitsspeicher. Das System braucht davon selbst auch einen Teil: Windows 11 verlangt mindestens 4 GB.
Kontext
Mehr Text braucht mehr SpeicherJe mehr Text das Modell auf einmal im Blick behält (das Kontextfenster), desto mehr Speicher braucht es. Unter 24 GB Grafikspeicher wählt Ollama deshalb standardmäßig ein kurzes Fenster von etwa 4.000 Tokens (Wortteilen).

Was ein Computer von heute kann

Je Geräteart: welche Modelle komplett in den Speicher passen und wofür sie laut Ollama gedacht sind.

Grafikkarte, Grafikspeicher

Grafikkarte mit 8 GB

Zum Beispiel die RTX 4060 und die RTX 5060.

Geeignet für: Text, Bild, Tools

Passt
  • Gemma 3 4B
  • Llama 3.1 8B

Grafikkarte mit 12 oder 16 GB

12 GB: RTX 4070 und RTX 5070. 16 GB: RTX 5080 sowie die RTX 4060 Ti und die RTX 5060 Ti in der Version mit 16 GB.

Geeignet für: Text, Bild, Tools, Nachdenken

Passt
  • Gemma 3 4B
  • Llama 3.1 8B
  • Gemma 3 12B
  • Qwen3 14B

Grafikkarte mit 24 oder 32 GB

24 GB: RTX 4090. 32 GB: RTX 5090.

Geeignet für: Text, Bild, Tools, Nachdenken, Programmieren

Passt
  • Gemma 3 4B
  • Llama 3.1 8B
  • Gemma 3 12B
  • Qwen3 14B
  • gpt-oss 20b
  • Gemma 3 27B
  • Qwen3-Coder 30B
Knapp
  • Qwen3 32B

Mini-PC, Arbeitsspeicher

Mini-PC mit 16 GB

Zum Beispiel das Umbrel Home.

Geeignet für: Text, Bild, Tools, Nachdenken

Passt
  • Gemma 3 4B
  • Llama 3.1 8B
  • Gemma 3 12B
  • Qwen3 14B

Mini-PC mit 32 GB

Zum Beispiel der GEEKOM A9 Max in der Ausführung mit 32 GB.

Geeignet für: Text, Bild, Tools, Nachdenken, Programmieren

Passt
  • Gemma 3 4B
  • Llama 3.1 8B
  • Gemma 3 12B
  • Qwen3 14B
  • gpt-oss 20b
  • Gemma 3 27B
  • Qwen3-Coder 30B
  • Qwen3 32B

Mini-PC mit 64 GB

Zum Beispiel die GEEKOM A6 und A8: zwei Speichersteckplätze für zusammen bis zu 64 GB.

Geeignet für: Text, Bild, Tools, Nachdenken, Programmieren

Passt
  • Gemma 3 4B
  • Llama 3.1 8B
  • Gemma 3 12B
  • Qwen3 14B
  • gpt-oss 20b
  • Gemma 3 27B
  • Qwen3-Coder 30B
  • Qwen3 32B
  • Llama 3.3 70B

Mini-PC mit 128 GB gemeinsamem Speicher

Zum Beispiel der GEEKOM A9 Mega mit AMD Ryzen AI Max+ 395. Prozessor und Grafikchip teilen sich den Speicher.

Geeignet für: Text, Bild, Tools, Nachdenken, Programmieren

Passt
  • Gemma 3 4B
  • Llama 3.1 8B
  • Gemma 3 12B
  • Qwen3 14B
  • gpt-oss 20b
  • Gemma 3 27B
  • Qwen3-Coder 30B
  • Qwen3 32B
  • Llama 3.3 70B
  • gpt-oss 120b

Ein 70B-Modell wie Llama 3.3 passt auf keine einzige separate Grafikkarte aus dieser Übersicht; dafür brauchst du einen Mini-PC mit 64 GB oder mehr. Deine eigenen Dokumente durchsuchen kannst du mit jedem der Geräte oben: Dafür lässt du ein kleines Suchmodell wie EmbeddingGemma (622 MB) neben einem Chatmodell laufen.

Was die Begriffe bedeuten

  • Bild: Das Modell beschreibt Bilder und beantwortet Fragen dazu.
  • Tools: Das Modell kann andere Programme aufrufen und deren Antwort nutzen. Darauf bauen KI-Assistenten auf, die selbst Aufgaben erledigen (Agenten).
  • Nachdenken: Das Modell denkt zuerst Schritt für Schritt nach, getrennt von der Antwort.
  • Programmieren: ausgelegt auf Code und Programmieraufgaben.

Einteilung nach der Modellbibliothek und der Dokumentation von Ollama.

Alle Modelle: Was passt worauf

Die Größe ist der Download in Ollama, dem Programm, mit dem du offene Modelle auf deinem eigenen Computer laufen lässt, jeweils in der Standardversion des Modells. Ob es passt, leiten wir selbst aus dieser Größe ab: Wir lassen ein Fünftel des Speichers für den Kontext und alles Übrige frei und ziehen bei einem Mini-PC vorher 4 GB für das System ab. Das ist ein Richtwert, keine Messung.

8B steht für 8 Milliarden Parameter: die Zahlen, mit denen das Modell rechnet. Größere Modelle sind für anspruchsvollere Aufgaben gedacht, brauchen aber mehr Speicher.

Mini-PC, Arbeitsspeicher
ModellDownload16 GB32 GB64 GB128 GB
Gemma 3 4B3,4 GBpasstpasstpasstpasst
Llama 3.1 8B4,9 GBpasstpasstpasstpasst
Gemma 3 12B8,2 GBpasstpasstpasstpasst
Qwen3 14B9,3 GBpasstpasstpasstpasst
gpt-oss 20b14 GBpasst nicht vollständigpasstpasstpasst
Gemma 3 27B17 GBpasst nicht vollständigpasstpasstpasst
Qwen3-Coder 30B19 GBpasst nicht vollständigpasstpasstpasst
Qwen3 32B20 GBpasst nicht vollständigpasstpasstpasst
Llama 3.3 70B43 GBpasst nicht vollständigpasst nicht vollständigpasstpasst
gpt-oss 120b65 GBpasst nicht vollständigpasst nicht vollständigpasst nicht vollständigpasst
Grafikkarte, Grafikspeicher
ModellDownload8 GB12 GB16 GB24 GB32 GB
Gemma 3 4B3,4 GBpasstpasstpasstpasstpasst
Llama 3.1 8B4,9 GBpasstpasstpasstpasstpasst
Gemma 3 12B8,2 GBpasst nicht vollständigpasstpasstpasstpasst
Qwen3 14B9,3 GBpasst nicht vollständigpasstpasstpasstpasst
gpt-oss 20b14 GBpasst nicht vollständigpasst nicht vollständigknapp: nur mit kurzem Kontextfensterpasstpasst
Gemma 3 27B17 GBpasst nicht vollständigpasst nicht vollständigpasst nicht vollständigpasstpasst
Qwen3-Coder 30B19 GBpasst nicht vollständigpasst nicht vollständigpasst nicht vollständigpasstpasst
Qwen3 32B20 GBpasst nicht vollständigpasst nicht vollständigpasst nicht vollständigknapp: nur mit kurzem Kontextfensterpasst
Llama 3.3 70B43 GBpasst nicht vollständigpasst nicht vollständigpasst nicht vollständigpasst nicht vollständigpasst nicht vollständig
gpt-oss 120b65 GBpasst nicht vollständigpasst nicht vollständigpasst nicht vollständigpasst nicht vollständigpasst nicht vollständig
  • passt
  • knapp: nur mit kurzem Kontextfenster
  • passt nicht vollständig

Passt ein Modell nicht vollständig in den Grafikspeicher, lagert Ollama den Rest in den Arbeitsspeicher aus. Es läuft dann noch, aber die Antworten können langsamer kommen. Bei einem Mini-PC heißt das: zu wenig Speicher.

Momentaufnahme vom 23. Oktober 2026; Modelle und Größen ändern sich. Laut OpenAI reichen 16 GB Speicher für gpt-oss 20b. Auf einer Grafikkarte mit 16 GB ist das knapp, und auf einem Mini-PC mit 16 GB bleibt nach dem System zu wenig übrig. Für Programmierhilfe und Agenten empfiehlt Ollama ein Kontextfenster von mindestens 64.000 Tokens; rechne dann eine Stufe größer.

Grafikspeicher und Strom je Karte

Der Grafikspeicher sitzt fest auf der Karte; du kannst ihn nicht erweitern. Die RTX 4060 Ti und die RTX 5060 Ti gibt es mit 8 und mit 16 GB: Achte also darauf, welche Version du kaufst.

Die Stromwerte gelten für zwei Stunden pro Tag unter Volllast, beim durchschnittlichen Haushaltsstrompreis von 0,39 € pro kWh (Eurostat).

KarteGrafikspeicherLeistung unter VolllastStrom pro Jahr
RTX 40608 GB115 W32,74 €84 kWh
RTX 5060 Ti8 / 16 GB180 W51,25 €131 kWh
RTX 407012 GB200 W56,94 €146 kWh
RTX 507012 GB250 W71,18 €183 kWh
RTX 508016 GB360 W102,49 €263 kWh
RTX 409024 GB450 W128,12 €329 kWh
RTX 509032 GB575 W163,70 €420 kWh

Laut NVIDIA, für NVIDIAs eigene Ausführung der Karte. Karten anderer Hersteller können abweichen.

Grafikkarte oder Mini-PC?

Grafikkarte

Laut Ollama läuft ein Modell am besten, wenn es komplett auf der Grafikkarte liegt. Dafür brauchst du allerdings einen Desktop-PC mit einem kräftigen Netzteil: Für einen PC mit RTX 5090 nennt NVIDIA 1.000 W. Der Grafikspeicher ist fest vorgegeben, bei den Karten oben 8 bis 32 GB.

Mini-PC

Klein, und du kannst mehr Speicher wählen, als auf einer Grafikkarte sitzt: bis zu 64 GB in Steckplätzen oder 128 GB gemeinsamen Speicher. Dadurch passen auch Modelle, die auf keine einzige separate Karte passen. Sie laufen allerdings aus dem Arbeitsspeicher, und dann können die Antworten langsamer kommen. Auf demselben Mini-PC kann auch deine Bitcoin-Node laufen; plane den Speicher dann für beides ein.

Strom im Leerlauf und beim Mini-PC

Lässt du den PC Tag und Nacht laufen, zählt auch der Verbrauch im Leerlauf. Eine RTX 4090 zieht laut NVIDIA im Leerlauf 19 W; rund um die Uhr sind das 166 kWh pro Jahr, ohne den Rest des PCs.

Bei einem Mini-PC nennt der Hersteller meist nur die thermische Auslegungsleistung des Prozessors (TDP), beim GEEKOM A9 Mega 45 bis 120 W. Das ist keine Messung an der Steckdose. Miss den Verbrauch mit einem Strommessgerät und rechne ihn aus.

Selbst berechnen

Was lokal weniger gut klappt

Nicht für alles ausreichend

Selbst GEEKOM schreibt zu seinem A9 Max, dass du für größere Modelle und für Fragen, die viel Nachdenken oder Wissen erfordern, besser zusätzlich einen Cloud-Dienst nutzt.

Keine feste Geschwindigkeit

Wie schnell die Antworten kommen, hängt von der Karte, dem Modell, der Länge des Textes und der Software ab. Deshalb nennen wir keine Geschwindigkeiten.

Kurzes Kontextfenster

Unter 24 GB Grafikspeicher wählt Ollama standardmäßig etwa 4.000 Tokens. Für die Websuche, Agenten und Programmierhilfe empfiehlt Ollama mindestens 64.000 Tokens, und das kostet mehr Speicher.

Speicher wählst du beim Kauf

Grafikspeicher lässt sich nicht nachrüsten, und bei manchen Mini-PCs wie dem GEEKOM A9 Mega sitzt auch der Arbeitsspeicher fest auf der Platine. Nimm lieber etwas mehr, als du jetzt brauchst.

Strom wird zu Wärme

Eine RTX 5090 zieht laut NVIDIA bis zu 575 W unter Volllast. Dieser Strom landet als Wärme in deinem Zimmer.

Häufige Fragen

Wie viel Grafikspeicher (VRAM) brauche ich für eine lokale KI?

Für kleine Modelle mit rund 8 Milliarden Parametern (etwa 5 GB) reichen 8 GB. Mit 12 oder 16 GB passen Modelle mit bis zu etwa 14 Milliarden Parametern, auch solche für Bilder, und mit 16 GB knapp gpt-oss 20b. Für Modelle um 30 Milliarden Parameter, etwa Qwen3-Coder zum Programmieren, brauchst du 24 oder 32 GB. Ein Modell mit 70 Milliarden Parametern passt auf keine einzige separate Grafikkarte aus unserer Übersicht.

Kann ich eine lokale KI auf einem Mini-PC ohne Grafikkarte laufen lassen?

Ja. Ollama nutzt dann den Arbeitsspeicher, aber die Antworten können langsamer kommen als auf einer Grafikkarte, in die das Modell passt. Mit 32 GB passen Modelle bis etwa 20 GB, mit 64 GB auch ein 70B-Modell und mit 128 GB gemeinsamem Speicher auch gpt-oss 120b. Ob Ollama den Grafikchip deines Mini-PCs nutzt, hängt vom Chip und vom Betriebssystem ab; Ollama führt dazu eine Liste.

Ist ein lokales Modell genauso gut wie ein KI-Dienst in der Cloud?

Nicht für alles. Kleine Modelle stoßen bei schwierigen Fragen eher an ihre Grenzen, und selbst GEEKOM empfiehlt für größere Modelle zusätzlich einen Cloud-Dienst. Der Vorteil der lokalen Variante: Dein Text bleibt auf deinem eigenen Gerät, und pro Anfrage zahlst du nur den Strom.

Weiterlesen

Stromkosten berechnenEine Bitcoin-Node auf einem Mini-PCMini-PCs und Grafikkarten

Quellen