VRAM-Guides · LocalLM Fit
Lokale KI-Modelle für 32 GB VRAM
Zweiunddreißig Gigabyte sind eine Premium-Stufe, in der die Qualität der Quantisierung zum wichtigsten Kompromiss wird. Viele Modelle passen darunter; die Reserve eignet sich für Kontext oder zukünftige Modelle.
Berechnungsbasis: 8.192 Token, veröffentlichte Gewichte + KV-Cache + 1,5 GB Overhead. Komfortabel bedeutet mindestens 20 % Reserve. Alle Schwellenwerte und Quellen ansehen.
Komfortabel
32 GB · Komfortabel
| Modell | Empfohlene Quantisierung | Geschätzter Bedarf | Reserve und Verhältnis | Startbefehl |
|---|---|---|---|---|
| Flint 40B39.8B total / ~2.5B active | NVFP4 | 24.6 GB | +7.4 GB · 130% | ollama run flint:40blms get "Flint 40B"@nvfp4 |
| NVIDIA Nemotron 3.5 Bolt E4B8B total / 4B effective | Q4_K_M | 8.0 GB | +24.0 GB · 402% | ollama run nemotron-3.5-bolt:e4blms get "NVIDIA Nemotron 3.5 Bolt E4B"@q4_k_m |
| LFM3-1.7B1.73B dense | Q8_0 | 3.4 GB | +28.6 GB · 928% | ollama run lfm3:1.7b-q8_0lms get "LFM3-1.7B"@q8_0 |
| Bonsai 227.36B dense / ternary | PQ2_0 | 9.2 GB | +22.8 GB · 346% | ollama run bonsai-2:27b |
| Qwen3.8 27B27B dense | Q4_K_M | 19.4 GB | +12.6 GB · 165% | ollama run qwen3.8:27b-q4_K_Mlms get "Qwen3.8 27B"@q4_k_m |
| Gemma 4 12B Unified11.95B dense | Q8_0 | 14.7 GB | +17.3 GB · 217% | ollama run gemma4:12b-it-q8_0lms get "Gemma 4 12B Unified"@q8_0 |
| Gemma 4 E4B4.5B effective / 8B stored | Q8_0 | 11.0 GB | +21.0 GB · 292% | ollama run gemma4:e4b-it-q8_0lms get "Gemma 4 E4B"@q8_0 |
| gpt-oss-20b21B total / 3.6B active | MXFP4 | 13.8 GB | +18.2 GB · 232% | ollama run gpt-oss:20blms get "gpt-oss-20b"@mxfp4 |
| Qwen3.6 35B-A3B35B total / 3B active | Q4_K_M | 24.7 GB | +7.3 GB · 130% | ollama run qwen3.6:35b-a3b-q4_K_Mlms get "Qwen3.6 35B-A3B"@q4_k_m |
| Gemma 4 31B30.7B dense | Q4_K_M | 22.2 GB | +9.8 GB · 144% | ollama run gemma4:31b-it-q4_K_Mlms get "Gemma 4 31B"@q4_k_m |
| Qwen3 8B8.2B dense | Q8_0 | 11.6 GB | +20.4 GB · 276% | ollama run qwen3:8b-q8_0lms get "Qwen3 8B"@q8_0 |
| DeepSeek R1 8B8B dense | Q8_0 | 11.1 GB | +20.9 GB · 289% | ollama run deepseek-r1:8b-llama-distill-q8_0lms get "DeepSeek R1 8B"@q8_0 |
| Llama 3.2 3B3.2B dense | Q8_0 | 5.8 GB | +26.2 GB · 548% | ollama run llama3.2:3b-instruct-q8_0lms get "Llama 3.2 3B"@q8_0 |
| Phi-4 Mini3.8B dense | Q8_0 | 6.7 GB | +25.3 GB · 479% | ollama run phi4-mini:3.8b-q8_0lms get "Phi-4 Mini"@q8_0 |
| Mistral 7B7.2B dense | Q8_0 | 10.3 GB | +21.7 GB · 311% | ollama run mistral:7b-instruct-v0.3-q8_0lms get "Mistral 7B"@q8_0 |
| Gemma 3 4B4B dense | Q8_0 | 7.6 GB | +24.4 GB · 419% | ollama run gemma3:4b-it-q8_0lms get "Gemma 3 4B"@q8_0 |
Knapp
Knapp
Kein Modell fällt in dieser Stufe ausschließlich in den knappen Bereich.
Quantisierungsempfindlichkeit
Wie die Quantisierungen bei 32 GB abschneiden
Die veröffentlichten Quantisierungen der fünf wichtigsten Modelle werden mit derselben 8K-Basis berechnet. „Passt nicht“ ist keine Qualitätsbewertung.
| Modell | Empfohlene Quantisierung | Geschätzter Bedarf | Passung | Reserve und Verhältnis | Startbefehl |
|---|---|---|---|---|---|
| Qwen3.8 27B | Q8_0 | 32.0 GB | Passt nicht | -0.0 GB | ollama run qwen3.8:27b-q8_0lms get "Qwen3.8 27B"@q8_0 |
| Qwen3.8 27B | Q4_K_M | 19.4 GB | Komfortabel | +12.6 GB | ollama run qwen3.8:27b-q4_K_Mlms get "Qwen3.8 27B"@q4_k_m |
| Gemma 4 12B Unified | Q8_0 | 14.7 GB | Komfortabel | +17.3 GB | ollama run gemma4:12b-it-q8_0lms get "Gemma 4 12B Unified"@q8_0 |
| Gemma 4 12B Unified | Q4_K_M | 9.2 GB | Komfortabel | +22.8 GB | ollama run gemma4:12b-it-q4_K_Mlms get "Gemma 4 12B Unified"@q4_k_m |
| Gemma 4 12B Unified | Q4_0 | 9.1 GB | Komfortabel | +22.9 GB | ollama run gemma4:12b-it-qatlms get "Gemma 4 12B Unified"@q4_0 |
| Gemma 4 E4B | Q8_0 | 11.0 GB | Komfortabel | +21.0 GB | ollama run gemma4:e4b-it-q8_0lms get "Gemma 4 E4B"@q8_0 |
| Gemma 4 E4B | Q4_K_M | 7.7 GB | Komfortabel | +24.3 GB | ollama run gemma4:e4b-it-q4_K_Mlms get "Gemma 4 E4B"@q4_k_m |
| Gemma 4 E4B | Q4_0 | 7.9 GB | Komfortabel | +24.1 GB | ollama run gemma4:e4b-it-qatlms get "Gemma 4 E4B"@q4_0 |
| gpt-oss-20b | MXFP4 | 13.8 GB | Komfortabel | +18.2 GB | ollama run gpt-oss:20blms get "gpt-oss-20b"@mxfp4 |
| Qwen3.6 35B-A3B | Q8_0 | 39.5 GB | Passt nicht | -7.5 GB | ollama run qwen3.6:35b-a3b-q8_0lms get "Qwen3.6 35B-A3B"@q8_0 |
| Qwen3.6 35B-A3B | Q4_K_M | 24.7 GB | Komfortabel | +7.3 GB | ollama run qwen3.6:35b-a3b-q4_K_Mlms get "Qwen3.6 35B-A3B"@q4_k_m |
| Qwen3.6 35B-A3B | MXFP4 | 24.3 GB | Komfortabel | +7.7 GB | ollama run qwen3.6:35b-a3blms get "Qwen3.6 35B-A3B"@mxfp4 |
Günstige Setup-Upgrades
Zubehör, das den Engpass vor einem GPU-Upgrade löst
Dies sind allgemeine Amazon-Suchkategorien, keine Live-Aussagen zu Produkten oder Preisen. Kompatibilität vor dem Kauf mit dem exakten Rechner prüfen.
Externe NVMe-SSD für Modelldateien
Lagert große GGUF- und MLX-Dateien außerhalb der Systemplatte aus. Schnellerer Speicher verkürzt Ladezeiten, vergrößert aber nicht den Arbeitsspeicher für die Inferenz.
Aktuelle Angebote auf Amazon suchenDesktop-RAM-Upgrade-Kit
Hilft beim CPU-Offload von MoE-Modellen und hält das Betriebssystem aus dem VRAM. Speichertyp, Slots, Maximalkapazität und geprüfte Teilenummern des Mainboards beachten.
Aktuelle Angebote auf Amazon suchenGPU-Stützhalterung
Eine günstige mechanische Entlastung für schwere Drei-Slot-Karten. Freiraum, Bauhöhe und mögliche Kollisionen mit Lüftern oder Seitenteilen prüfen.
Aktuelle Angebote auf Amazon suchenAs an Amazon Associate I earn from qualifying purchases. Als Amazon-Associate verdiene ich an qualifizierten Käufen. Die Links sind gesponserte Suchlinks; der Kaufpreis ändert sich dadurch nicht. Affiliate-Hinweis.
FAQ
Fragen zu dieser VRAM-Stufe.
Welche Modelle laufen mit 32 GB VRAM komfortabel?
Bei 8.192 Token Kontext erreichen Flint 40B, NVIDIA Nemotron 3.5 Bolt E4B, LFM3-1.7B, Bonsai 2, Qwen3.8 27B, Gemma 4 12B Unified, Gemma 4 E4B, gpt-oss-20b, Qwen3.6 35B-A3B, Gemma 4 31B, Qwen3 8B, DeepSeek R1 8B, Llama 3.2 3B, Phi-4 Mini, Mistral 7B, Gemma 3 4B die 20-%-Komfortschwelle.
Warum sind manche Modelle bei 32 GB nur knapp?
In dieser Stufe gibt es kein Modell, das ausschließlich im knappen Bereich liegt. Modelle unter dem Mindestbedarf werden nicht als lauffähig dargestellt.
Welche Kontextlänge und Speicherformel gelten?
Die Tabelle nutzt 8.192 Token, veröffentlichte Gewichte, einen FP16-KV-Cache und 1,5 GB Laufzeit-Overhead. Längerer Kontext erhöht den Bedarf.
Wie verändert die Quantisierung das Ergebnis bei 32 GB?
Bei gleichem 8K-Kontext kann eine niedrigere Bitbreite den Bedarf senken und ein Modell von „passt nicht“ zu „knapp“ oder „komfortabel“ verschieben. Die Quantisierungstabelle berechnet die veröffentlichten Dateien der fünf wichtigsten Modelle einzeln; sie garantiert nicht dieselbe Qualität oder Backend-Unterstützung.
Was tun, wenn das gewünschte Modell nicht in 32 GB passt?
Zuerst die kleinste veröffentlichte Quantisierung und einen kürzeren Kontext testen. Reicht das nicht, ein kleineres Modell, eine GPU mit mehr VRAM oder einen Mac mit mehr Unified Memory vergleichen. Eine externe SSD speichert Modelldateien, erhöht aber nicht den VRAM.