Gemma 4 E2B
Gemma 4 E2B (2,3 B effectifs, ~1,3 Go en Q4) accepte texte, image et audio. Contexte court indispensable.
À éviter : Modèles de 4B ou plus et contextes longs : le swap détruit la latence.
Dernière preuve 2026-08-24 · dernière tentative 2026-09-07Gemma 4 E4B
Q4_K_M avec contexte modéré et au moins 10 % de RAM libre.
À éviter : Les 7–8B tiennent à peine et deviennent trop lents pour un usage fluide.
Dernière preuve 2026-08-24 · dernière tentative 2026-09-07Gemma 4 12B
Le meilleur palier sans GPU pour un chat local réellement capable.
À éviter : Les modèles denses de 26B ou plus et les contextes de 128k.
Dernière preuve 2026-08-24 · dernière tentative 2026-09-07Qwen3.6-35B-A3B
Les architectures MoE réduisent fortement le coût de calcul par jeton.
À éviter : Les 70B denses pour une conversation interactive.
Dernière preuve 2026-08-24 · dernière tentative 2026-09-07gpt-oss-120b
Techniquement ambitieux : mesurez la bande passante mémoire et gardez une marge pour l’OS.
À éviter : Un 70B dense si vous attendez une réponse interactive rapide.
Dernière preuve 2026-08-24 · dernière tentative 2026-09-07Gemma 4 12B
Palier confortable pour un assistant local sans carte graphique dédiée.
À éviter : Les denses de 24B et plus.
Dernière preuve 2026-08-24 · dernière tentative 2026-09-07Qwen3.6-35B-A3B
Un MoE reste fluide là où un dense équivalent devient pénible.
À éviter : Les 70B denses.
Dernière preuve 2026-08-24 · dernière tentative 2026-09-07Gemma 4 12B
MLX 4-bit ou llama.cpp/Metal offrent le chemin le plus naturel.
À éviter : Les 26B et plus : la mémoire est aussi partagée avec macOS.
Dernière preuve 2026-08-24 · dernière tentative 2026-09-07Qwen3.6-35B-A3B
Bon palier pour le code local, les MoE et un agent multimodal en mémoire unifiée.
À éviter : Les 70B denses, trop serrés et lents pour ce palier.
Dernière preuve 2026-08-24 · dernière tentative 2026-09-07Qwen3.6 9B
Conservez un contexte raisonnable afin de laisser de la place au cache KV.
À éviter : Les modèles denses de 14B ou plus en chargement entièrement GPU.
Dernière preuve 2026-08-24 · dernière tentative 2026-09-07Gemma 4 12B
Votre profil : 12 B Q4 confortables en VRAM, MoE plus gros grâce aux 64 Go de RAM.
À éviter : Muse Glimmer 30B est dense : il ne tient pas en 12 Go et son offload sera lent. Préférez un MoE.
Dernière preuve 2026-08-24 · dernière tentative 2026-09-07Gemma 4 26B-A4B
Palier idéal pour un MoE multimodal, et assez pour héberger un classificateur de sûreté.
À éviter : Les 31B denses entièrement en VRAM.
Dernière preuve 2026-08-24 · dernière tentative 2026-09-07Qwen3.6-35B-A3B
Muse Glimmer tient à ≈17 Go en K-Quant (~1,0 % de dégradation). Pour le code, North Mini Code 1.0 en w4a16 occupe ~18–20 Go et laisse 4–6 Go de cache KV.
À éviter : Les 70B entièrement GPU, sauf quantification très agressive ou multi-GPU. North Mini Code à 256 k de contexte : cache KV insuffisant.
Dernière preuve 2026-08-24 · dernière tentative 2026-09-07