Lokalna AI na mini PC lub karcie graficznej: co się gdzie zmieści?

Model AI możesz uruchomić także na własnym komputerze. Twój tekst nie trafia wtedy na cudzy serwer. Co da się zrobić, zależy przede wszystkim od pamięci: model musi się w niej zmieścić. Poniżej dla każdego mini PC i każdej karty graficznej zobaczysz, które modele się zmieszczą, do czego służą, ile kosztuje prąd i co lokalnie działa gorzej.

Jak to działa

Karta graficzna: Model mieści się w pamięci VRAMWtedy znajduje się w całości na karcie; według Ollamy tak działa najlepiej. Jeśli się nie mieści, Ollama przenosi część do zwykłej pamięci RAM, a wtedy odpowiedzi mogą pojawiać się wolniej.
Mini PC: Model mieści się w pamięci RAMBez osobnej karty graficznej model korzysta ze zwykłej pamięci RAM. Część tej pamięci potrzebuje też sam system: Windows 11 wymaga co najmniej 4 GB.
Kontekst: Więcej tekstu wymaga więcej pamięciIm więcej tekstu model obejmuje jednocześnie (to tzw. okno kontekstowe), tym więcej pamięci potrzebuje. Dlatego przy mniej niż 24 GB pamięci VRAM Ollama domyślnie ustawia krótkie okno, około 4000 tokenów (fragmentów słów).

Co potrafi dzisiejszy komputer

Dla każdego rodzaju urządzenia: które modele mieszczą się w całości w pamięci i do czego według Ollamy służą.

Karta graficzna, pamięć VRAM

Karta graficzna z 8 GB

Na przykład RTX 4060 i RTX 5060.

Zastosowanie: tekst, obraz, narzędzia

Mieści się

Gemma 3 4B
Llama 3.1 8B

Karta graficzna z 12 lub 16 GB

12 GB: RTX 4070 i RTX 5070. 16 GB: RTX 5080 oraz RTX 4060 Ti i RTX 5060 Ti w wersji z 16 GB.

Zastosowanie: tekst, obraz, narzędzia, rozumowanie

Mieści się

Gemma 3 4B
Llama 3.1 8B
Gemma 3 12B
Qwen3 14B

Karta graficzna z 24 lub 32 GB

24 GB: RTX 4090. 32 GB: RTX 5090.

Zastosowanie: tekst, obraz, narzędzia, rozumowanie, programowanie

Mieści się

Gemma 3 4B
Llama 3.1 8B
Gemma 3 12B
Qwen3 14B
gpt-oss 20b
Gemma 3 27B
Qwen3-Coder 30B

Na styk

Qwen3 32B

Mini PC, pamięć RAM

Mini PC z 16 GB

Na przykład Umbrel Home.

Zastosowanie: tekst, obraz, narzędzia, rozumowanie

Mieści się

Gemma 3 4B
Llama 3.1 8B
Gemma 3 12B
Qwen3 14B

Mini PC z 32 GB

Na przykład GEEKOM A9 Max w wersji z 32 GB.

Zastosowanie: tekst, obraz, narzędzia, rozumowanie, programowanie

Mieści się

Gemma 3 4B
Llama 3.1 8B
Gemma 3 12B
Qwen3 14B
gpt-oss 20b
Gemma 3 27B
Qwen3-Coder 30B
Qwen3 32B

Mini PC z 64 GB

Na przykład GEEKOM A6 i A8: dwa gniazda pamięci, łącznie do 64 GB.

Zastosowanie: tekst, obraz, narzędzia, rozumowanie, programowanie

Mieści się

Gemma 3 4B
Llama 3.1 8B
Gemma 3 12B
Qwen3 14B
gpt-oss 20b
Gemma 3 27B
Qwen3-Coder 30B
Qwen3 32B
Llama 3.3 70B

Mini PC ze 128 GB pamięci współdzielonej

Na przykład GEEKOM A9 Mega z AMD Ryzen AI Max+ 395. Procesor i układ graficzny współdzielą pamięć.

Zastosowanie: tekst, obraz, narzędzia, rozumowanie, programowanie

Mieści się

Gemma 3 4B
Llama 3.1 8B
Gemma 3 12B
Qwen3 14B
gpt-oss 20b
Gemma 3 27B
Qwen3-Coder 30B
Qwen3 32B
Llama 3.3 70B
gpt-oss 120b

Model 70B, taki jak Llama 3.3, nie zmieści się na żadnej osobnej karcie graficznej z tego zestawienia; potrzebujesz do tego mini PC z 64 GB lub więcej. Własne dokumenty możesz przeszukiwać na każdym z powyższych urządzeń: uruchamiasz wtedy obok modelu do czatu mały model do wyszukiwania, taki jak EmbeddingGemma (622 MB).

Co oznaczają te określenia

Obraz: model opisuje obrazy i odpowiada na pytania na ich temat.
Narzędzia: model może wywoływać inne programy i korzystać z ich odpowiedzi. Na tym opierają się asystenci AI, którzy sami wykonują zadania (agenci).
Rozumowanie: model najpierw myśli krok po kroku, oddzielnie od odpowiedzi.
Programowanie: model przeznaczony do kodu i zadań programistycznych.

Podział według biblioteki i dokumentacji Ollamy.

Wszystkie modele: co się gdzie zmieści

Rozmiar oznacza, ile danych pobierasz w Ollamie – programie do uruchamiania otwartych modeli na własnym komputerze – w standardowej wersji każdego modelu. Czy model się zmieści, wyliczamy sami na podstawie tego rozmiaru: jedną piątą pamięci zostawiamy wolną na kontekst i całą resztę, a w mini PC najpierw odliczamy 4 GB na system. To wskazówka, a nie pomiar.

8B oznacza 8 miliardów parametrów, czyli liczb, którymi model posługuje się w obliczeniach. Większe modele są przeznaczone do trudniejszych zadań, ale potrzebują więcej pamięci.

Mini PC, pamięć RAM
Model	Rozmiar	16 GB	32 GB	64 GB	128 GB
Gemma 3 4B	3,4 GB	mieści się	mieści się	mieści się	mieści się
Llama 3.1 8B	4,9 GB	mieści się	mieści się	mieści się	mieści się
Gemma 3 12B	8,2 GB	mieści się	mieści się	mieści się	mieści się
Qwen3 14B	9,3 GB	mieści się	mieści się	mieści się	mieści się
gpt-oss 20b	14 GB	nie mieści się w całości	mieści się	mieści się	mieści się
Gemma 3 27B	17 GB	nie mieści się w całości	mieści się	mieści się	mieści się
Qwen3-Coder 30B	19 GB	nie mieści się w całości	mieści się	mieści się	mieści się
Qwen3 32B	20 GB	nie mieści się w całości	mieści się	mieści się	mieści się
Llama 3.3 70B	43 GB	nie mieści się w całości	nie mieści się w całości	mieści się	mieści się
gpt-oss 120b	65 GB	nie mieści się w całości	nie mieści się w całości	nie mieści się w całości	mieści się

Karta graficzna, pamięć VRAM
Model	Rozmiar	8 GB	12 GB	16 GB	24 GB	32 GB
Gemma 3 4B	3,4 GB	mieści się	mieści się	mieści się	mieści się	mieści się
Llama 3.1 8B	4,9 GB	mieści się	mieści się	mieści się	mieści się	mieści się
Gemma 3 12B	8,2 GB	nie mieści się w całości	mieści się	mieści się	mieści się	mieści się
Qwen3 14B	9,3 GB	nie mieści się w całości	mieści się	mieści się	mieści się	mieści się
gpt-oss 20b	14 GB	nie mieści się w całości	nie mieści się w całości	na styk: tylko z krótkim oknem kontekstowym	mieści się	mieści się
Gemma 3 27B	17 GB	nie mieści się w całości	nie mieści się w całości	nie mieści się w całości	mieści się	mieści się
Qwen3-Coder 30B	19 GB	nie mieści się w całości	nie mieści się w całości	nie mieści się w całości	mieści się	mieści się
Qwen3 32B	20 GB	nie mieści się w całości	nie mieści się w całości	nie mieści się w całości	na styk: tylko z krótkim oknem kontekstowym	mieści się
Llama 3.3 70B	43 GB	nie mieści się w całości	nie mieści się w całości	nie mieści się w całości	nie mieści się w całości	nie mieści się w całości
gpt-oss 120b	65 GB	nie mieści się w całości	nie mieści się w całości	nie mieści się w całości	nie mieści się w całości	nie mieści się w całości

mieści się
na styk: tylko z krótkim oknem kontekstowym
nie mieści się w całości

Jeśli model nie mieści się w całości w pamięci VRAM, Ollama przenosi resztę do pamięci RAM. Model nadal działa, ale odpowiedzi mogą pojawiać się wolniej. W przypadku mini PC oznacza to, że pamięci jest za mało.

Migawka z 23 października 2026; modele i ich rozmiary się zmieniają. Według OpenAI do gpt-oss 20b wystarczy 16 GB pamięci. Na karcie graficznej z 16 GB jest to na styk, a w mini PC z 16 GB po odliczeniu systemu zostaje za mało. Do pomocy w programowaniu i do agentów Ollama zaleca okno kontekstowe o długości co najmniej 64 000 tokenów; wtedy wybierz sprzęt o jeden stopień większy.

Pamięć VRAM i zużycie prądu poszczególnych kart

Pamięć VRAM jest na stałe zamontowana na karcie; nie da się jej rozbudować. RTX 4060 Ti i RTX 5060 Ti występują w wersji z 8 i z 16 GB, więc sprawdź, którą wersję kupujesz.

Zużycie prądu podajemy dla dwóch godzin pracy dziennie z pełną mocą, przy średniej cenie dla gospodarstw domowych wynoszącej 0,27 € za kWh (Eurostat).

Karta	Pamięć VRAM	Moc przy pełnym obciążeniu	Prąd rocznie
RTX 4060	8 GB	115 W	22,67 €84 kWh
RTX 5060 Ti	8 / 16 GB	180 W	35,48 €131 kWh
RTX 4070	12 GB	200 W	39,42 €146 kWh
RTX 5070	12 GB	250 W	49,28 €183 kWh
RTX 5080	16 GB	360 W	70,96 €263 kWh
RTX 4090	24 GB	450 W	88,70 €329 kWh
RTX 5090	32 GB	575 W	113,33 €420 kWh

Według firmy NVIDIA, dla jej własnej wersji karty. Karty innych marek mogą się różnić.

Karta graficzna czy mini PC?

Karta graficzna

Według Ollamy model działa najlepiej, gdy w całości znajduje się na karcie graficznej. Potrzebujesz jednak do niej komputera stacjonarnego z mocnym zasilaczem: dla komputera z kartą RTX 5090 NVIDIA podaje 1000 W. Ilość pamięci VRAM jest stała: od 8 do 32 GB w kartach wymienionych powyżej.

Mini PC

Jest mały, a pamięci możesz wybrać więcej, niż ma karta graficzna: do 64 GB w gniazdach albo 128 GB pamięci współdzielonej. Dzięki temu zmieszczą się też modele, które nie mieszczą się na żadnej osobnej karcie. Działają one jednak z pamięci RAM, a wtedy odpowiedzi mogą pojawiać się wolniej. Na tym samym mini PC może też działać twój węzeł Bitcoina; wtedy uwzględnij pamięć potrzebną dla obu.

Zużycie prądu w spoczynku i w mini PC

Jeśli komputer jest włączony całą dobę, liczy się także zużycie w spoczynku. Według NVIDIA karta RTX 4090 pobiera w spoczynku 19 W; przez całą dobę daje to 166 kWh rocznie, nie licząc reszty komputera.

W przypadku mini PC producent zwykle podaje tylko moc projektową procesora (TDP), w GEEKOM A9 Mega od 45 do 120 W. To nie jest pomiar z gniazdka. Zmierz pobór watomierzem i oblicz zużycie.

Oblicz samodzielnie

Co lokalnie działa gorzej

Nie do wszystkiego wystarczy

Nawet GEEKOM w opisie swojego A9 Max pisze, że przy większych modelach i pytaniach wymagających rozbudowanego rozumowania lub szerokiej wiedzy lepiej korzystać dodatkowo z usługi w chmurze.

Brak stałej szybkości

To, jak szybko pojawiają się odpowiedzi, zależy od karty, modelu, długości tekstu i oprogramowania. Dlatego nie podajemy szybkości.

Krótkie okno kontekstowe

Przy mniej niż 24 GB pamięci VRAM Ollama domyślnie ustawia około 4000 tokenów. Do wyszukiwania w internecie, agentów i pomocy w programowaniu Ollama zaleca co najmniej 64 000 tokenów, a to wymaga więcej pamięci.

Pamięć wybierasz przy zakupie

Pamięci VRAM nie da się dołożyć, a w niektórych mini PC, takich jak GEEKOM A9 Mega, także pamięć RAM jest na stałe przylutowana do płyty głównej. Lepiej kup trochę więcej, niż teraz potrzebujesz.

Prąd zamienia się w ciepło

Według NVIDIA karta RTX 5090 pobiera przy pełnym obciążeniu do 575 W. Ta energia trafia jako ciepło do twojego pokoju.

Najczęściej zadawane pytania

Ile pamięci VRAM potrzebuję do lokalnej AI?

Do małych modeli mających około 8 miliardów parametrów (ok. 5 GB) wystarczy 8 GB. Przy 12 lub 16 GB zmieszczą się modele do około 14 miliardów parametrów, także z obsługą obrazu, a przy 16 GB, choć na styk, również gpt-oss 20b. Do modeli mających około 30 miliardów parametrów, takich jak Qwen3-Coder do programowania, potrzebujesz 24 lub 32 GB. Model z 70 miliardami parametrów nie zmieści się na żadnej osobnej karcie graficznej z naszego zestawienia.

Czy mogę uruchomić lokalną AI na mini PC bez karty graficznej?

Tak. Ollama korzysta wtedy z pamięci RAM, ale odpowiedzi mogą pojawiać się wolniej niż na karcie graficznej, której pamięć mieści cały model. Przy 32 GB zmieszczą się modele do około 20 GB, przy 64 GB także model 70B, a przy 128 GB pamięci współdzielonej również gpt-oss 120b. To, czy Ollama wykorzysta układ graficzny twojego mini PC, zależy od układu i systemu operacyjnego; Ollama prowadzi listę obsługiwanych układów.

Czy lokalny model jest tak samo dobry jak usługa AI w chmurze?

Nie we wszystkim. Małe modele łatwiej zawodzą przy trudnych pytaniach, a nawet GEEKOM przy większych modelach zaleca dodatkowo usługę w chmurze. Zaleta pracy lokalnej: tekst nie opuszcza twojego urządzenia, a każde pytanie kosztuje cię tylko prąd.

Czytaj dalej

Kalkulator zużycia prądu Węzeł Bitcoina na mini PC Mini PC i karty graficzne

Jak to działa

Co potrafi dzisiejszy komputer

Karta graficzna, pamięć VRAM

Karta graficzna z 8 GB

Karta graficzna z 12 lub 16 GB

Karta graficzna z 24 lub 32 GB

Mini PC, pamięć RAM

Mini PC z 16 GB

Mini PC z 32 GB

Mini PC z 64 GB

Mini PC ze 128 GB pamięci współdzielonej

Co oznaczają te określenia

Pamięć VRAM i zużycie prądu poszczególnych kart

Karta graficzna czy mini PC?

Karta graficzna

Mini PC

Zużycie prądu w spoczynku i w mini PC

Co lokalnie działa gorzej

Nie do wszystkiego wystarczy

Brak stałej szybkości

Krótkie okno kontekstowe

Pamięć wybierasz przy zakupie

Prąd zamienia się w ciepło

Najczęściej zadawane pytania

Czytaj dalej

Źródła