Info::IA: LLMs sur un système avec 128 Go de mémoire unifiée

De wiki_pcwiki2
Aller à la navigationAller à la recherche

KEYWORDS: 128 GO

Le 27/08/2026:

LLM de codage chargeables sur système à 128 Go de mémoire unifiée

Question : Sur un système à 128 Go de mémoire unifiée (type Strix Halo / Framework Desktop), quels sont les meilleurs LLM orientés codage à charger localement, en tenant compte du fait que le budget réel côté GPU n'est pas 128 Go mais ~96 Go (32 Go étant réservés au système) ?

Budget mémoire réel

Sur ce type de machine, le firmware/BIOS ne permet généralement d'allouer que jusqu'à 96 Go au GPU (UMA) ; les 32 Go restants sont réservés au système (OS, drivers, buffers) et ne sont pas accessibles au GPU même en forçant le GTT plus haut. Certaines cartes mères avec BIOS custom poussent un peu plus loin (~110-120 Go), mais 96 Go est la valeur de référence à retenir pour ce type de configuration.

Conséquence : le contexte (KV-cache) doit lui aussi tenir dans ces 96 Go, avec les poids du modèle. Pour du codage, où le contexte long (gros fichiers, multi-fichiers, historique d'agent) compte autant que la taille du modèle, il faut garder une vraie marge — viser ~65-80 Go de poids maximum pour laisser 15-30 Go de contexte/overhead.

Sélection orientée codage (classée par taille de paramètres décroissante)

# Modèle Params totaux (actifs) Licence Quantification conseillée Taille approx. Pourquoi pour du code
1 DeepSeek-V4-Flash 284B (13B) MIT Q2_K ~85 Go (limite, ~11 Go de marge) Hérite de l'architecture sparse-attention de V4 Pro (meilleur SWE-bench Verified en poids ouverts) ; le plus capable de la liste mais tendu dans 96 Go
2 Qwen3-Coder-Next 80B (3B) Apache 2.0 Q6/Q8 ~60-80 Go Spécialisé code, attention hybride + MoE, 70,6 % SWE-bench Verified avec seulement 3B actifs — excellent ratio efficacité/taille
3 gpt-oss-120b 120B (5,1B) Apache 2.0 MXFP4 natif ~65 Go Quasi-parité o4-mini en raisonnement, bon tool-use, grosse marge de contexte restante (~31 Go) — meilleur compromis capacité/place
4 Mixtral 8x22B 141B (39B) Apache 2.0 Q4_K_M ~78 Go Ancien mais toujours solide en génération de code, bien supporté par tous les runtimes
5 Qwen3.6-35B-A3B 35B (3B) Apache 2.0 Q8_0 ~37 Go MoE léger, rapide en tok/s, bon niveau code agentique
6 Qwen3-Coder-30B-A3B 30,5B (3,3B) Apache 2.0 Q8_0 ~32 Go (ou ~19 Go en Q4) MoE dédié code, tourne bien même sur config modeste, contexte natif 256K
7 Qwen3.6-27B 27B dense Apache 2.0 Q8_0 ~29 Go Meilleur modèle dense généraliste+code tenant sur un seul GPU consumer ; 71,78 Coding Avg (LiveBench)
8 Muse Glimmer 30B (Meta, août 2026) ~30B À vérifier Q8_0 ~32 Go Rivalise avec Qwen3.6-27B, meilleur en tool-use selon les benchmarks Meta
9 Qwen2.5-Coder-32B 32B dense Apache 2.0 Q8_0 ~34 Go Le plus testé/le mieux couvert par l'écosystème Ollama/GGUF
10 Devstral Small 2 (Mistral) ~24B Apache 2.0 Q8_0 ~26 Go Fine-tune spécialisé code de Mistral, bon en agentique léger
11 Codestral 22B (Mistral) 22B dense Mistral AI NC (usage non-commercial) Q8_0 ~24 Go Référence codage historique, toujours pertinent en local
12 Command R+ 104B dense CC-BY-NC Q5_K_M ~68 Go Moins spécialisé code mais solide en RAG/tool-use pour agents de dev
13 Qwen3-32B 32B dense Apache 2.0 Q8_0 ~34 Go Généraliste robuste, bon complément raisonnement/code
14 gpt-oss-20b 20B (3,6B) Apache 2.0 MXFP4 natif ~16 Go Modèle rapide pour complétion/brouillon, à coupler avec un modèle plus gros
15 Qwen3-14B (déjà en place sur srv18) 14B dense Apache 2.0 Q8_0/FP16 ~15-28 Go Référence basse, actuellement utilisé sur l'infra PCStreet

Recommandation

Pour un usage codage principal sur 96 Go de budget GPU réel :

  • Un seul gros modèle polyvalent : gpt-oss-120b (MXFP4, ~65 Go) — meilleur équilibre capacité/marge de contexte, licence Apache 2.0 sans restriction.
  • Un modèle dédié code plus rapide : Qwen3-Coder-Next (80B/3B actifs) — spécialisation code supérieure à gpt-oss sur SWE-bench, un peu plus juste en marge mémoire.
  • Setup à deux modèles (si usage agentique intensif) : un petit modèle rapide (Qwen3-Coder-30B-A3B ou gpt-oss-20b, ~20-30 Go) pour l'autocomplétion/les boucles d'agent rapides, combiné à gpt-oss-120b pour les tâches complexes — tient confortablement dans les 96 Go en chargeant les deux simultanément si besoin (~85-95 Go cumulés selon les quantifications choisies).
Conclusion pratique pour toi
Si tu veux la meilleure vitesse + une bonne capacité générale → MoE, typiquement gpt-oss-120b ou Qwen3-Coder-Next (mes recommandations précédentes restent valides).

Si tu veux la meilleure qualité brute par token sur un budget mémoire contenu et que la vitesse t'importe moins → dense de taille raisonnable, Qwen3.6-27B ou Qwen2.5-Coder-32B, qui tiennent très large dans tes 96 Go et restent utilisables en interactif (pas de génération d'agent à haut débit, mais confortable en usage assistant de code classique).

Sur ton infra (usage interactif + agentique via Claude Code déjà en place), je resterais sur du MoE en modèle principal (gpt-oss-120b) pour la vitesse, avec éventuellement un dense plus petit type Qwen2.5-Coder-32B comme second modèle pour les cas où tu veux plus de rigueur ligne à ligne sur un fichier précis

Complément : faire tenir gpt-oss-120b + un second LLM simultanément

Complément à LLM de codage chargeables sur système à 128 Go de mémoire unifiée.

Question : Une fois gpt-oss-120b chargé, reste-t-il de la place pour un autre LLM ?

Calcul du budget restant

Budget GPU réel : 96 Go (rappel : 128 Go de mémoire unifiée, 32 Go réservés au système).

Poste Taille
gpt-oss-120b (MXFP4 natif) ~65 Go
KV-cache gpt-oss-120b (contexte raisonnable, ~32-64K tokens) ~2-4 Go
Reste disponible pour un 2e modèle ~27-29 Go

Si le contexte de gpt-oss-120b est poussé au maximum (131K tokens, ~6,7 Go de KV-cache), il ne reste plus que ~24-25 Go pour le second modèle et son propre contexte.

Modèles compatibles avec cette enveloppe (~25-29 Go)

Modèle Quantification Taille Remarque
gpt-oss-20b MXFP4 natif ~16 Go Même famille/tokenizer que le 120b, cohérent pour un duo « petit rapide + gros capable »
Qwen3-Coder-30B-A3B Q4_K_M ~19 Go Spécialisé code, bon complément pour l'autocomplétion/les boucles d'agent rapides
Qwen3.6-27B (dense) Q4_K_M ~17 Go Bon niveau code, dense donc plus consistant par token
Qwen2.5-Coder-32B Q4_K_M ~19-20 Go Large couverture langages, très testé/éprouvé
Qwen3-14B (déjà en place sur srv18) Q8_0 ~15 Go Le plus économe, laisse le plus de marge de contexte pour les deux modèles

Tous rentrent avec de la marge pour leur propre contexte (quelques Go chacun à 8-32K tokens).

Point pratique : exécution simultanée

Ollama et llama.cpp chargent chaque modèle dans un process séparé. Pour avoir les deux modèles en mémoire en même temps, deux options :

  • Lancer deux instances Ollama, chacune avec un OLLAMA_HOST distinct et un modèle chargé, en réglant OLLAMA_KEEP_ALIVE pour éviter le déchargement automatique.
  • Passer par vLLM ou llama-swap pour un routage plus propre entre les deux endpoints.

Attention au réglage GTT/UMA côté BIOS : il doit couvrir la somme des deux modèles chargés simultanément (~85-94 Go cumulés selon le combo choisi), sinon le second chargement échoue ou déborde sur le swap système.

Recommandation concrète

gpt-oss-120b (raisonnement/tâches complexes) + Qwen3-Coder-30B-A3B en Q4 (~19 Go, complétion rapide/agent) → total ~86-88 Go avec contextes modestes, laissant encore ~8-10 Go de coussin de sécurité dans l'enveloppe de 96 Go.

Notes

  • Les tailles GGUF varient selon la méthode exacte de quantification — toujours vérifier la taille réelle du fichier sur Hugging Face avant téléchargement ; chiffres indicatifs à ±10-15 %.
  • Les gros modèles MoE (DeepSeek-V4-Flash, Qwen3-Coder-480B-A35B — ce dernier hors budget même en Q2, ~144 Go) restent hors de portée confortable de 96 Go ; ils sont mentionnés à titre de référence mais pas recommandés pour un usage quotidien sur cette machine.
  • DeepSeek-V4-Pro (1,6T) et GLM-5.2 (744B) offrent les meilleurs scores SWE-bench en poids ouverts mais nécessitent un cluster GPU dédié, hors de portée d'un système à mémoire unifiée 128 Go.