Modelle
Läuft gpt-oss-20b lokal? Speicher und Start
OpenAI · Apache 2.0 · Zuletzt geprüft
gpt-oss-20b ist ein MoE-Modell, das 21B Gewichte speichert, aber pro Token nur etwa 3,6B aktiviert. Als MXFP4-Paket ist es vergleichsweise kompakt; langer Kontext benötigt trotzdem zusätzlichen KV-Cache.
Was dieses Modell ist
Lokal eignet es sich für Experimente mit Agenten, Code-Unterstützung und Tool-Aufrufen. Die Geschwindigkeit hängt nicht nur von den aktiven Parametern ab, sondern auch von Speicherbandbreite und Backend.
OpenAI reports 21B total parameters and 3.6B active parameters per token.
Veröffentlichte Quantisierungsdateien
| Empfohlene Quantisierung | Gewichtsdateien | 8K | GPU | Mac | Kontext auf kleinster GPU / Mac | Geschwindigkeit | Beispielbefehle |
|---|---|---|---|---|---|---|---|
| MXFP4 | 12.11 GB | 13.8 GB | NVIDIA GeForce RTX 4090 24GB | Apple Mac mini M4 24GB | 131.072 / 131.072 | Schätzung · Fast relative class | ollama run gpt-oss:20blms get "gpt-oss-20b"@mxfp4 |
Kompatibilität auf einem repräsentativen Rechner
NVIDIA GeForce RTX 4090 · 24 GB · 24 GB VRAM · 8,192 Token
At least 20% memory headroom remains after weights, KV cache, and runtime overhead.
Beispielbefehle
ollama run gpt-oss:20blms get "gpt-oss-20b"@mxfp4
lms load <model-key-from-lms-ls> --gpu max --context-length 8192llama-cli -hf openai/gpt-oss-20b -c 8192 -ngl 99 -p "Your prompt"Unterstützte Runtimes
- ollama
- llama.cpp
- vllm
FAQ
Vor dem Download
Wie groß ist die kleinste Datei von gpt-oss-20b?
Die kleinste veröffentlichte Quantisierung ist MXFP4 mit etwa 12.11 GB. Zur Laufzeit kommen KV-Cache und etwa 1,5 GB Overhead hinzu.
Spart MoE Speicher?
MoE reduziert die Rechenarbeit pro Token, aber die vollständigen Gewichte müssen gespeichert werden. Experten können in den RAM ausgelagert werden, was langsamer ist.
Was sollte ich vor dem Download prüfen?
Prüfe die tatsächlich verwendete Quantisierung, Kontextlänge und Backend-Unterstützung. Die Schätzung ist kein Benchmark, sondern eine konservative Rechnung aus öffentlichen Daten.
Welche GPU oder welcher Mac ist für gpt-oss-20b bei 8K komfortabel?
MXFP4 benötigt etwa 13.8 GB; die kleinsten Katalogkandidaten sind NVIDIA GeForce RTX 4090 24GB beziehungsweise Apple Mac mini M4 24GB.
Was sollte ich tun, wenn es nicht passt?
Zuerst die kleinste Quantisierung und einen kürzeren Kontext wählen. Reicht das nicht, mit kleineren Modellen wie Qwen3.6 35B-A3B, Qwen3.8 27B, Gemma 4 12B Unified vergleichen. Eine externe SSD speichert Dateien, erhöht aber nicht den Inferenzspeicher.