Modelle
Gemma 4 E4B lokal ausführen
Google DeepMind · Apache 2.0 · Zuletzt geprüft
Gemma 4 E4B wirkt wegen der effektiven Parameter klein, speichert aber zusätzliche Embedding-Tabellen. Prüfe vor dem Download die tatsächliche Größe der Quantisierungsdatei.
Was dieses Modell ist
Kleine Modelle liefern oft schneller Token, benötigen bei langem Kontext oder multimodaler Eingabe aber zusätzlichen Speicher. Prüfe außerdem, ob ein MLX-Paket verfügbar ist.
E4B means 4.5B effective parameters. The full checkpoint is about 8B parameters because the Per-Layer Embedding tables are stored even though they are lookup-only.
Veröffentlichte Quantisierungsdateien
| Empfohlene Quantisierung | Gewichtsdateien | 8K | GPU | Mac | Kontext auf kleinster GPU / Mac | Geschwindigkeit | Beispielbefehle |
|---|---|---|---|---|---|---|---|
| Q4_K_M | 5.97 GB | 7.7 GB | NVIDIA GeForce RTX 3060 12GB | Apple Mac mini M4 16GB | 131.072 / 131.072 | Schätzung · Fast relative class | ollama run gemma4:e4b-it-q4_K_Mlms get "Gemma 4 E4B"@q4_k_m |
| Q4_0 | 6.15 GB | 7.9 GB | NVIDIA GeForce RTX 3060 12GB | Apple Mac mini M4 16GB | 131.072 / 131.072 | Schätzung · Fast relative class | ollama run gemma4:e4b-it-qatlms get "Gemma 4 E4B"@q4_0 |
| Q8_0 | 9.19 GB | 11.0 GB | NVIDIA GeForce RTX 4060 Ti 16GB | Apple Mac mini M4 16GB | 131.072 / 131.072 | Schätzung · Fast relative class | ollama run gemma4:e4b-it-q8_0lms get "Gemma 4 E4B"@q8_0 |
Kompatibilität auf einem repräsentativen Rechner
NVIDIA GeForce RTX 4090 · 24 GB · 24 GB VRAM · 8,192 Token
At least 20% memory headroom remains after weights, KV cache, and runtime overhead.
Beispielbefehle
ollama run gemma4:e4b-it-q8_0lms get "Gemma 4 E4B"@q8_0
lms load <model-key-from-lms-ls> --gpu max --context-length 8192llama-cli -hf google/gemma-4-E4B-it -c 8192 -ngl 99 -p "Your prompt"mlx_lm.generate --model google/gemma-4-E4B-it --prompt "Your prompt" --max-tokens 8192Unterstützte Runtimes
- ollama
- llama.cpp
- mlx
FAQ
Vor dem Download
Wie groß ist die kleinste Datei von Gemma 4 E4B?
Die kleinste veröffentlichte Quantisierung ist Q4_K_M mit etwa 5.97 GB. Zur Laufzeit kommen KV-Cache und etwa 1,5 GB Overhead hinzu.
Spart MoE Speicher?
MoE reduziert die Rechenarbeit pro Token, aber die vollständigen Gewichte müssen gespeichert werden. Dieses Modell ist Dense; alle Gewichte werden benötigt.
Was sollte ich vor dem Download prüfen?
Prüfe die tatsächlich verwendete Quantisierung, Kontextlänge und Backend-Unterstützung. Die Schätzung ist kein Benchmark, sondern eine konservative Rechnung aus öffentlichen Daten.
Welche GPU oder welcher Mac ist für Gemma 4 E4B bei 8K komfortabel?
Q4_K_M benötigt etwa 7.7 GB; die kleinsten Katalogkandidaten sind NVIDIA GeForce RTX 3060 12GB beziehungsweise Apple Mac mini M4 16GB. Q4_0 benötigt etwa 7.9 GB; die kleinsten Katalogkandidaten sind NVIDIA GeForce RTX 3060 12GB beziehungsweise Apple Mac mini M4 16GB. Q8_0 benötigt etwa 11.0 GB; die kleinsten Katalogkandidaten sind NVIDIA GeForce RTX 4060 Ti 16GB beziehungsweise Apple Mac mini M4 16GB.
Was sollte ich tun, wenn es nicht passt?
Zuerst die kleinste Quantisierung und einen kürzeren Kontext wählen. Reicht das nicht, mit kleineren Modellen wie gpt-oss-20b, Qwen3.6 35B-A3B, Qwen3.8 27B vergleichen. Eine externe SSD speichert Dateien, erhöht aber nicht den Inferenzspeicher.