VRAMガイド · LocalLM Fit
32GB VRAMで動くローカルAIモデル
32GBは量子化の質が主なトレードオフになるプレミアム帯です。多くのモデルはこの容量以下で収まるため、余ったメモリはコンテキストや将来のモデルに回せます。
計算基準：8,192トークン、公開重み＋KVキャッシュ＋1.5 GBのオーバーヘッド。余裕ありは20%以上のヘッドルームを意味します。 しきい値と出典を見る.
余裕あり
32 GB · 余裕あり
| モデル | 推奨量子化 | 推定必要量 | 余裕と適合率 | 実行コマンド |
|---|---|---|---|---|
| Flint 40B39.8B total / ~2.5B active | UD-Q3_K_XL | 20.2 GB | +11.8 GB · 158% | ollama run flint:40blms get "Flint 40B"@ud-q3_k_xl |
| NVIDIA Nemotron 3.5 Bolt E4B8B total / 4B effective | Q4_K_M | 8.0 GB | +24.0 GB · 402% | ollama run nemotron-3.5-bolt:e4blms get "NVIDIA Nemotron 3.5 Bolt E4B"@q4_k_m |
| LFM3-1.7B1.73B dense | Q8_0 | 3.4 GB | +28.6 GB · 928% | ollama run lfm3:1.7b-q8_0lms get "LFM3-1.7B"@q8_0 |
| Bonsai 227.36B dense / ternary | PQ2_0 | 9.2 GB | +22.8 GB · 346% | ollama run bonsai-2:27b |
| Qwen3.8 27B27B dense | Q4_K_M | 19.4 GB | +12.6 GB · 165% | ollama run qwen3.8:27b-q4_K_Mlms get "Qwen3.8 27B"@q4_k_m |
| Gemma 4 12B Unified11.95B dense | Q8_0 | 14.7 GB | +17.3 GB · 217% | ollama run gemma4:12b-it-q8_0lms get "Gemma 4 12B Unified"@q8_0 |
| Gemma 4 E4B4.5B effective / 8B stored | Q8_0 | 11.0 GB | +21.0 GB · 292% | ollama run gemma4:e4b-it-q8_0lms get "Gemma 4 E4B"@q8_0 |
| gpt-oss-20b21B total / 3.6B active | MXFP4 | 13.8 GB | +18.2 GB · 232% | ollama run gpt-oss:20blms get "gpt-oss-20b"@mxfp4 |
| Qwen3.6 35B-A3B35B total / 3B active | Q4_K_M | 24.7 GB | +7.3 GB · 130% | ollama run qwen3.6:35b-a3b-q4_K_Mlms get "Qwen3.6 35B-A3B"@q4_k_m |
| Gemma 4 31B30.7B dense | Q4_K_M | 22.2 GB | +9.8 GB · 144% | ollama run gemma4:31b-it-q4_K_Mlms get "Gemma 4 31B"@q4_k_m |
| Qwen3 8B8.2B dense | Q8_0 | 11.6 GB | +20.4 GB · 276% | ollama run qwen3:8b-q8_0lms get "Qwen3 8B"@q8_0 |
| DeepSeek R1 8B8B dense | Q8_0 | 11.1 GB | +20.9 GB · 289% | ollama run deepseek-r1:8b-llama-distill-q8_0lms get "DeepSeek R1 8B"@q8_0 |
| Llama 3.2 3B3.2B dense | Q8_0 | 5.8 GB | +26.2 GB · 548% | ollama run llama3.2:3b-instruct-q8_0lms get "Llama 3.2 3B"@q8_0 |
| Phi-4 Mini3.8B dense | Q8_0 | 6.7 GB | +25.3 GB · 479% | ollama run phi4-mini:3.8b-q8_0lms get "Phi-4 Mini"@q8_0 |
| Mistral 7B7.2B dense | Q8_0 | 10.3 GB | +21.7 GB · 311% | ollama run mistral:7b-instruct-v0.3-q8_0lms get "Mistral 7B"@q8_0 |
| Gemma 3 4B4B dense | Q8_0 | 7.6 GB | +24.4 GB · 419% | ollama run gemma3:4b-it-q8_0lms get "Gemma 3 4B"@q8_0 |
ぎりぎり
ぎりぎり
この容量でぎりぎり区分に入るモデルはありません。
量子化の感度
32GBで各量子化が収まるか
上位5モデルの公開量子化を同じ8K基準で計算しています。「動かない」は品質評価ではなく容量計算です。
| モデル | 推奨量子化 | 推定必要量 | 判定 | 余裕と適合率 | 実行コマンド |
|---|---|---|---|---|---|
| Qwen3.8 27B | Q8_0 | 32.0 GB | 収まらない | -0.0 GB | ollama run qwen3.8:27b-q8_0lms get "Qwen3.8 27B"@q8_0 |
| Qwen3.8 27B | Q4_K_M | 19.4 GB | 余裕あり | +12.6 GB | ollama run qwen3.8:27b-q4_K_Mlms get "Qwen3.8 27B"@q4_k_m |
| Gemma 4 12B Unified | Q8_0 | 14.7 GB | 余裕あり | +17.3 GB | ollama run gemma4:12b-it-q8_0lms get "Gemma 4 12B Unified"@q8_0 |
| Gemma 4 12B Unified | Q4_K_M | 9.2 GB | 余裕あり | +22.8 GB | ollama run gemma4:12b-it-q4_K_Mlms get "Gemma 4 12B Unified"@q4_k_m |
| Gemma 4 12B Unified | Q4_0 | 9.1 GB | 余裕あり | +22.9 GB | ollama run gemma4:12b-it-qatlms get "Gemma 4 12B Unified"@q4_0 |
| Gemma 4 E4B | Q8_0 | 11.0 GB | 余裕あり | +21.0 GB | ollama run gemma4:e4b-it-q8_0lms get "Gemma 4 E4B"@q8_0 |
| Gemma 4 E4B | Q4_K_M | 7.7 GB | 余裕あり | +24.3 GB | ollama run gemma4:e4b-it-q4_K_Mlms get "Gemma 4 E4B"@q4_k_m |
| Gemma 4 E4B | Q4_0 | 7.9 GB | 余裕あり | +24.1 GB | ollama run gemma4:e4b-it-qatlms get "Gemma 4 E4B"@q4_0 |
| gpt-oss-20b | MXFP4 | 13.8 GB | 余裕あり | +18.2 GB | ollama run gpt-oss:20blms get "gpt-oss-20b"@mxfp4 |
| Qwen3.6 35B-A3B | Q8_0 | 39.5 GB | 収まらない | -7.5 GB | ollama run qwen3.6:35b-a3b-q8_0lms get "Qwen3.6 35B-A3B"@q8_0 |
| Qwen3.6 35B-A3B | Q4_K_M | 24.7 GB | 余裕あり | +7.3 GB | ollama run qwen3.6:35b-a3b-q4_K_Mlms get "Qwen3.6 35B-A3B"@q4_k_m |
| Qwen3.6 35B-A3B | MXFP4 | 24.3 GB | 余裕あり | +7.7 GB | ollama run qwen3.6:35b-a3blms get "Qwen3.6 35B-A3B"@mxfp4 |
低予算の環境改善
GPU買い替え前にボトルネックを解消するアクセサリ
Amazonの検索カテゴリであり、特定商品の価格や在庫を示すものではありません。購入前に実際のマシンとの互換性を確認してください。
モデル保存用 外付けNVMe SSD
大容量のGGUF／MLXファイルを起動ディスクから分離できます。読み込みは速くなりますが、推論に使えるメモリ容量は増えません。
Amazonで現在の出品を検索デスクトップPC用メモリ増設キット
MoEのCPUオフロードやOS用メモリの確保に役立ちます。マザーボードのメモリ規格、スロット構成、最大容量、動作確認済み型番に合わせてください。
Amazonで現在の出品を検索GPUサポートブラケット
大型3スロットGPUの荷重対策を低コストで行えます。クリアランス、取り付け高さ、ファンやケースパネルを妨げないか確認してください。
Amazonで現在の出品を検索As an Amazon Associate I earn from qualifying purchases. Amazonアソシエイトとして、適格な購入から収益を得ることがあります。リンクはスポンサー付き検索リンクで、購入価格は変わりません。 アフィリエイト開示.
FAQ
このVRAM容量についての質問。
32GB VRAMで余裕を持って動くモデルは？
8,192トークンのコンテキストでは、Flint 40B、NVIDIA Nemotron 3.5 Bolt E4B、LFM3-1.7B、Bonsai 2、Qwen3.8 27B、Gemma 4 12B Unified、Gemma 4 E4B、gpt-oss-20b、Qwen3.6 35B-A3B、Gemma 4 31B、Qwen3 8B、DeepSeek R1 8B、Llama 3.2 3B、Phi-4 Mini、Mistral 7B、Gemma 3 4Bが20%の余裕基準を満たします。
なぜ32GBで「ぎりぎり」になるモデルがある？
この容量では、ぎりぎり区分だけに入るモデルはありません。最低要件を満たさないモデルは「動く」として掲載していません。
表のコンテキスト長とメモリ計算は？
8,192トークンを基準に、公開重み、FP16 KVキャッシュ、1.5GBの実行時オーバーヘッドを加算しています。長いコンテキストでは必要量が増えます。
32GBで量子化を変えると結果はどう変わる？
同じ8K条件でも、低ビット化すると必要量が下がり、余裕ありやぎりぎりへ移動する場合があります。下の量子化表は上位5モデルの公開ファイルを個別に計算したもので、画質やバックエンド対応が同じになることを意味しません。
選んだモデルが32GBに収まらない場合は？
まず最小の公開量子化と短いコンテキストを試してください。それでも最低要件を満たさない場合は、小さいモデル、より大きな容量のGPU、またはユニファイドメモリの多いMacを比較します。外部SSDはモデル保存には使えますが、VRAMは増えません。