VRAM-Guides · LocalLM Fit
Lokale KI-Modelle für 12 GB VRAM
Zwölf Gigabyte öffnen die Tür zu kompakten 8B-Modellen und einigen effizienten MoE-Paketen. Der Unterschied zwischen sauberer Passung und Auslagerung in den Desktop-Speicher ist jedoch klein.
Berechnungsbasis: 8.192 Token, veröffentlichte Gewichte + KV-Cache + 1,5 GB Overhead. Komfortabel bedeutet mindestens 20 % Reserve. Alle Schwellenwerte und Quellen ansehen.
Komfortabel
12 GB · Komfortabel
| Modell | Empfohlene Quantisierung | Geschätzter Bedarf | Reserve und Verhältnis | Startbefehl |
|---|---|---|---|---|
| NVIDIA Nemotron 3.5 Bolt E4B8B total / 4B effective | Q4_K_M | 8.0 GB | +4.0 GB · 151% | ollama run nemotron-3.5-bolt:e4blms get "NVIDIA Nemotron 3.5 Bolt E4B"@q4_k_m |
| LFM3-1.7B1.73B dense | Q8_0 | 3.4 GB | +8.6 GB · 348% | ollama run lfm3:1.7b-q8_0lms get "LFM3-1.7B"@q8_0 |
| Bonsai 227.36B dense / ternary | PQ2_0 | 9.2 GB | +2.8 GB · 130% | ollama run bonsai-2:27b |
| Gemma 4 12B Unified11.95B dense | Q4_K_M | 9.2 GB | +2.8 GB · 130% | ollama run gemma4:12b-it-q4_K_Mlms get "Gemma 4 12B Unified"@q4_k_m |
| Gemma 4 E4B4.5B effective / 8B stored | Q4_K_M | 7.7 GB | +4.3 GB · 155% | ollama run gemma4:e4b-it-q4_K_Mlms get "Gemma 4 E4B"@q4_k_m |
| Qwen3 8B8.2B dense | Q4_K_M | 7.9 GB | +4.1 GB · 152% | ollama run qwen3:8b-q4_K_Mlms get "Qwen3 8B"@q4_k_m |
| DeepSeek R1 8B8B dense | Q4_K_M | 7.5 GB | +4.5 GB · 161% | ollama run deepseek-r1:8b-llama-distill-q4_K_Mlms get "DeepSeek R1 8B"@q4_k_m |
| Llama 3.2 3B3.2B dense | Q8_0 | 5.8 GB | +6.2 GB · 205% | ollama run llama3.2:3b-instruct-q8_0lms get "Llama 3.2 3B"@q8_0 |
| Phi-4 Mini3.8B dense | Q8_0 | 6.7 GB | +5.3 GB · 180% | ollama run phi4-mini:3.8b-q8_0lms get "Phi-4 Mini"@q8_0 |
| Mistral 7B7.2B dense | Q4_K_M | 7.0 GB | +5.0 GB · 172% | ollama run mistral:7b-instruct-v0.3-q4_K_Mlms get "Mistral 7B"@q4_k_m |
| Gemma 3 4B4B dense | Q8_0 | 7.6 GB | +4.4 GB · 157% | ollama run gemma3:4b-it-q8_0lms get "Gemma 3 4B"@q8_0 |
Knapp
Knapp
Kein Modell fällt in dieser Stufe ausschließlich in den knappen Bereich.
Quantisierungsempfindlichkeit
Wie die Quantisierungen bei 12 GB abschneiden
Die veröffentlichten Quantisierungen der fünf wichtigsten Modelle werden mit derselben 8K-Basis berechnet. „Passt nicht“ ist keine Qualitätsbewertung.
| Modell | Empfohlene Quantisierung | Geschätzter Bedarf | Passung | Reserve und Verhältnis | Startbefehl |
|---|---|---|---|---|---|
| Qwen3.8 27B | Q8_0 | 32.0 GB | Passt nicht | -20.0 GB | ollama run qwen3.8:27b-q8_0lms get "Qwen3.8 27B"@q8_0 |
| Qwen3.8 27B | Q4_K_M | 19.4 GB | Passt nicht | -7.4 GB | ollama run qwen3.8:27b-q4_K_Mlms get "Qwen3.8 27B"@q4_k_m |
| Gemma 4 12B Unified | Q8_0 | 14.7 GB | Passt nicht | -2.7 GB | ollama run gemma4:12b-it-q8_0lms get "Gemma 4 12B Unified"@q8_0 |
| Gemma 4 12B Unified | Q4_K_M | 9.2 GB | Komfortabel | +2.8 GB | ollama run gemma4:12b-it-q4_K_Mlms get "Gemma 4 12B Unified"@q4_k_m |
| Gemma 4 12B Unified | Q4_0 | 9.1 GB | Komfortabel | +2.9 GB | ollama run gemma4:12b-it-qatlms get "Gemma 4 12B Unified"@q4_0 |
| Gemma 4 E4B | Q8_0 | 11.0 GB | Knapp | +1.0 GB | ollama run gemma4:e4b-it-q8_0lms get "Gemma 4 E4B"@q8_0 |
| Gemma 4 E4B | Q4_K_M | 7.7 GB | Komfortabel | +4.3 GB | ollama run gemma4:e4b-it-q4_K_Mlms get "Gemma 4 E4B"@q4_k_m |
| Gemma 4 E4B | Q4_0 | 7.9 GB | Komfortabel | +4.1 GB | ollama run gemma4:e4b-it-qatlms get "Gemma 4 E4B"@q4_0 |
| gpt-oss-20b | MXFP4 | 13.8 GB | Passt nicht | -1.8 GB | ollama run gpt-oss:20blms get "gpt-oss-20b"@mxfp4 |
| Qwen3.6 35B-A3B | Q8_0 | 39.5 GB | Passt nicht | -27.5 GB | ollama run qwen3.6:35b-a3b-q8_0lms get "Qwen3.6 35B-A3B"@q8_0 |
| Qwen3.6 35B-A3B | Q4_K_M | 24.7 GB | Passt nicht | -12.7 GB | ollama run qwen3.6:35b-a3b-q4_K_Mlms get "Qwen3.6 35B-A3B"@q4_k_m |
| Qwen3.6 35B-A3B | MXFP4 | 24.3 GB | Passt nicht | -12.3 GB | ollama run qwen3.6:35b-a3blms get "Qwen3.6 35B-A3B"@mxfp4 |
Günstige Setup-Upgrades
Zubehör, das den Engpass vor einem GPU-Upgrade löst
Dies sind allgemeine Amazon-Suchkategorien, keine Live-Aussagen zu Produkten oder Preisen. Kompatibilität vor dem Kauf mit dem exakten Rechner prüfen.
Externe NVMe-SSD für Modelldateien
Lagert große GGUF- und MLX-Dateien außerhalb der Systemplatte aus. Schnellerer Speicher verkürzt Ladezeiten, vergrößert aber nicht den Arbeitsspeicher für die Inferenz.
Aktuelle Angebote auf Amazon suchenDesktop-RAM-Upgrade-Kit
Hilft beim CPU-Offload von MoE-Modellen und hält das Betriebssystem aus dem VRAM. Speichertyp, Slots, Maximalkapazität und geprüfte Teilenummern des Mainboards beachten.
Aktuelle Angebote auf Amazon suchenGPU-Stützhalterung
Eine günstige mechanische Entlastung für schwere Drei-Slot-Karten. Freiraum, Bauhöhe und mögliche Kollisionen mit Lüftern oder Seitenteilen prüfen.
Aktuelle Angebote auf Amazon suchenAs an Amazon Associate I earn from qualifying purchases. Als Amazon-Associate verdiene ich an qualifizierten Käufen. Die Links sind gesponserte Suchlinks; der Kaufpreis ändert sich dadurch nicht. Affiliate-Hinweis.
FAQ
Fragen zu dieser VRAM-Stufe.
Welche Modelle laufen mit 12 GB VRAM komfortabel?
Bei 8.192 Token Kontext erreichen NVIDIA Nemotron 3.5 Bolt E4B, LFM3-1.7B, Bonsai 2, Gemma 4 12B Unified, Gemma 4 E4B, Qwen3 8B, DeepSeek R1 8B, Llama 3.2 3B, Phi-4 Mini, Mistral 7B, Gemma 3 4B die 20-%-Komfortschwelle.
Warum sind manche Modelle bei 12 GB nur knapp?
In dieser Stufe gibt es kein Modell, das ausschließlich im knappen Bereich liegt. Modelle unter dem Mindestbedarf werden nicht als lauffähig dargestellt.
Welche Kontextlänge und Speicherformel gelten?
Die Tabelle nutzt 8.192 Token, veröffentlichte Gewichte, einen FP16-KV-Cache und 1,5 GB Laufzeit-Overhead. Längerer Kontext erhöht den Bedarf.
Wie verändert die Quantisierung das Ergebnis bei 12 GB?
Bei gleichem 8K-Kontext kann eine niedrigere Bitbreite den Bedarf senken und ein Modell von „passt nicht“ zu „knapp“ oder „komfortabel“ verschieben. Die Quantisierungstabelle berechnet die veröffentlichten Dateien der fünf wichtigsten Modelle einzeln; sie garantiert nicht dieselbe Qualität oder Backend-Unterstützung.
Was tun, wenn das gewünschte Modell nicht in 12 GB passt?
Zuerst die kleinste veröffentlichte Quantisierung und einen kürzeren Kontext testen. Reicht das nicht, ein kleineres Modell, eine GPU mit mehr VRAM oder einen Mac mit mehr Unified Memory vergleichen. Eine externe SSD speichert Modelldateien, erhöht aber nicht den VRAM.