Info::IA:comment utiliser llama.cpp en mode routeur et comment télécharger les LLM
KEYWORDS: IA, LLAMA.CPP, ROUTER, ROUTEUR, HUGGINGFACE
Le 14/09/2026:
Choisir un LLM local pour coder en C++ et router mode llama.cpp sur HAL
Note (14/09/2026) : synthèse d'une session de travail sur le choix d'un modèle de code local pour HAL (Framework Desktop, Ryzen AI Max+ 395 « Strix Halo », 128 Go de mémoire unifiée, 96 Go alloués au GPU en BIOS), et sur la migration du service llama-server existant vers le router mode pour basculer entre gpt-oss-120b et Qwen3-Coder-Next sans redémarrage. Voir le runbook général de la machine : /data/ai/HAL-setup.md.
1. Contexte matériel et logiciel réel (HAL)
- iGPU Radeon 8060S = gfx1151, réglé en BIOS UMA_SPECIFIED 96 Go dédiés (RAM système restante ~32 Go).
- Kernel 7.1.8+deb13-amd64, backend Vulkan (RADV STRIX_HALO) — nettement plus rapide que le ROCm 7.2 embarqué d'ollama sur ce iGPU (+50 % en génération, mesuré sur gpt-oss-120b).
llama.cppdéjà cloné et compilé dans/data/ai/src/llama.cpp(-DGGML_VULKAN=ON).- Tout tourne sous l'utilisateur
pchevalier(groupesrender/video) ;rootréservé à apt/grub/systemd. - Modèles GGUF dans
/data/ai/models/gguf/, cache Hugging Face dansHF_HOME=/data/ai/models/hf. - Service systemd
llama-server.service(port 8090 — 8080 est pris parmotion), consommé par la fonction Pipe OpenWebUIpcwiki_srv18(RAG : retrieval sur srv18, génération sur HAL).
2. Modèles retenus pour du code C++
Correction importante : il n'existe pas de Qwen3-Coder-32B dense. La gamme Qwen3-Coder n'est publiée qu'en MoE (30B-A3B, Next 80B-A3B, 480B-A35B). Le seul « 32B dense » de la famille Qwen3 est le modèle généraliste Qwen3-32B (pas spécialisé code).
| Modèle | Architecture | Total / actifs | Taille GGUF (quant retenue) | Usage |
|---|---|---|---|---|
| Qwen3-Coder-Next | MoE (512 experts, hybride Gated DeltaNet/Attention) | 80B / 3B actifs | ~61 Go en Q6_K | Choix n°1 : ~70 % SWE-bench, meilleur pour l'agentique et le C++/STL/Boost complexe |
| Qwen3-Coder-30B-A3B-Instruct | MoE | 30B / 3B actifs | ~32 Go en Q8_0 | Rapide, tient large dans 96 Go, bon pour itération/autocomplétion |
| gpt-oss-120b | MoE, FFN natif MXFP4 (ne se re-quantifie pas plus bas) | 117B / 5.1B actifs | 59 Gio natif MXFP4 (ggml-org/gpt-oss-120b-GGUF) |
Déjà en service sur HAL, second avis / raisonnement |
| GLM-4.5-Air | MoE (~12B actifs) | ~106B total | ~60-70 Go en Q4_K_M | Alternative si template metaprogramming très complexe |
| DeepSeek V4-Pro / GLM-5.x / Kimi K2.x | MoE de pointe | jusqu'à 1T | 80 Go-class multi-GPU | Hors budget sur 96 Go de mémoire unifiée partagée |
Contrainte mémoire clé : gpt-oss-120b (~59 Gio) et Qwen3-Coder-Next Q6_K (~61 Go) ne tiennent pas ensemble dans 96 Go. Le router llama.cpp fait donc du swap à la demande (--models-max 1), pas de la cohabitation.
3. Télécharger un GGUF — toujours vérifier la structure réelle du dépôt
Les noms de fichiers et le nombre de shards varient d'un dépôt à l'autre (sous-dossier par quant, 2 ou 3 shards) — à vérifier avant de lancer un téléchargement de plusieurs dizaines de Go :
curl -s https://huggingface.co/api/models/unsloth/Qwen3-Coder-Next-GGUF \ | jq -r '.siblings[].rfilename' | grep -i Q6_K
Sur unsloth/Qwen3-Coder-Next-GGUF, le Q6_K est dans un sous-dossier, en 3 shards : Q6_K/Qwen3-Coder-Next-Q6_K-0000{1,2,3}-of-00003.gguf (~61 Go au total).
Sur unsloth/gpt-oss-120b-GGUF, il n'existe pas de fichier « mxfp4 » : le modèle garde ses poids MoE (90 %+ des paramètres) nativement en MXFP4 quel que soit le quant choisi, donc F16/Q8_0/Q6_K font tous ~63-65 Go. Sur HAL, c'est le dépôt ggml-org/gpt-oss-120b-GGUF (officiel, pas unsloth) qui a été utilisé, avec le fichier natif gpt-oss-120b-MXFP4.gguf (59 Gio) — téléchargé directement par le mécanisme -hf intégré à llama-server/llama-cli, sans étape manuelle.
Téléchargement effectivement utilisé sur HAL (répertoire réel, pas de cache HF pour ce modèle-ci — dossier propre sous pchevalier) :
sudo -u pchevalier mkdir -p /data/ai/models/gguf/qwen3-coder-next for f in 00001-of-00003 00002-of-00003 00003-of-00003; do URL="https://huggingface.co/unsloth/Qwen3-Coder-Next-GGUF/resolve/main/Q6_K/Qwen3-Coder-Next-Q6_K-${f}.gguf" sudo -u pchevalier aria2c -x16 -s16 -c \ -d /data/ai/models/gguf/qwen3-coder-next \ -o "Qwen3-Coder-Next-Q6_K-${f}.gguf" "$URL" done
Résultat obtenu (14/09/2026, ~110 MiB/s) : les 3 shards en /data/ai/models/gguf/qwen3-coder-next/, ~61 Go au total.
Astuce : lancer ce téléchargement pendant que le service llama-server tourne encore normalement (aucun conflit, c'est un simple transfert disque/réseau, pas de GPU impliqué) — ne couper le service qu'au moment de basculer sur la nouvelle config, pour minimiser l'indisponibilité du RAG.
4. Migration de llama-server.service vers le router mode
Le service existant (/etc/systemd/system/llama-server.service) pointait en dur sur gpt-oss-120b via -m ... --alias gpt-oss-120b. Migration faite par override systemd (non destructif, réversible), sans toucher au fichier unit d'origine.
Preset /data/ai/models.ini (section = identifiant de modèle vu par l'API OpenAI — gpt-oss-120b conservé à l'identique pour rester compatible avec la fonction Pipe pcwiki_srv18, valve LLM_MODEL) :
[*] n-gpu-layers = 999 jinja = true
[gpt-oss-120b] model = /data/ai/models/gguf/gpt-oss-120b-MXFP4.gguf
[qwen3-coder-next] model = /data/ai/models/gguf/qwen3-coder-next/Qwen3-Coder-Next-Q6_K-00001-of-00003.gguf ctx-size = 65536
Override /etc/systemd/system/llama-server.service.d/override.conf (créé via systemctl edit llama-server ; la ligne ExecStart= vide est obligatoire pour effacer l'ancien ExecStart avant de le redéfinir) :
[Service]
ExecStart=
ExecStart=/data/ai/src/llama.cpp/build/bin/llama-server \
--models-preset /data/ai/models.ini \
--models-max 1 \
--host 0.0.0.0 --port 8090 \
-fa on --jinja -ngl 999
Application :
systemctl daemon-reload systemctl restart llama-server
5. Vérification (résultats réels du 14/09/2026)
Liste des modèles vus par le routeur (curl http://127.0.0.1:8090/models) : en plus des deux modèles du preset, le routeur a auto-détecté deux modèles déjà présents dans le cache HF — qwen2.5-coder-7b-q8_0 et bge-reranker-v2-m3 — utilisables eux aussi via l'API sans configuration supplémentaire.
| Test | Résultat |
|---|---|
Rechargement gpt-oss-120b après restart du service |
OK, ~18 s (cold load) |
Bascule vers qwen3-coder-next ("model":"qwen3-coder-next") |
OK, ~3 min 37 s au premier chargement à froid (lecture disque de 61 Go) — plus rapide ensuite grâce au cache page OS |
gpt-oss-120b déchargé automatiquement pendant que qwen3-coder-next est chargé |
Confirmé (--models-max 1)
|
Fonction Pipe pcwiki_srv18 (OpenWebUI) |
Aucune modification nécessaire — même alias, même port 8090 |
Exemple d'appel :
curl http://127.0.0.1:8090/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"qwen3-coder-next","messages":[{"role":"user","content":"..."}]}'
Vérifier l'état sans déclencher de chargement :
curl http://127.0.0.1:8090/models # renvoie "status":{"value":"unloaded|loading|loaded"} pour chaque modèle
Point d'attention : compter plusieurs minutes de latence au premier appel après chaque bascule à froid (lecture disque ~60 Go) — pas gênant pour un usage interactif ponctuel, à garder en tête si un appel automatisé (ex. la fonction Pipe RAG) a un timeout court.
6. Script de bascule
Script installé sur HAL : /data/ai/switch-llm.sh (exécutable, propriétaire pchevalier). Dépend de jq et column (déjà présents sur HAL).
#!/usr/bin/env bash # Bascule / consultation des modeles servis par llama-server (router mode, port 8090) set -euo pipefail BASE_URL="http://127.0.0.1:8090"
usage() {
echo "Usage: $0 status|list" >&2
echo " $0 switch <model-id> (ex: gpt-oss-120b, qwen3-coder-next)" >&2
exit 1
}
status() {
curl -s "$BASE_URL/models" | jq -r '.data[] | "\(.id)\t\(.status.value)"' | column -t
}
case "${1:-}" in
status|list)
status
;;
switch)
MODEL="${2:?Usage: $0 switch <model-id>}"
echo "Bascule vers ${MODEL} (peut prendre plusieurs minutes au premier chargement a froid)..."
curl -s "$BASE_URL/v1/chat/completions" \
-H "Content-Type: application/json" \
-d "{\"model\":\"${MODEL}\",\"messages\":[{\"role\":\"user\",\"content\":\"ping\"}],\"max_tokens\":1}" \
-o /dev/null -w "HTTP %{http_code} en %{time_total}s\n"
status
;;
*)
usage
;;
esac
Usage (en tant que pchevalier, ou root via sudo -u pchevalier) :
/data/ai/switch-llm.sh status # liste tous les modeles connus du routeur (preset + cache HF) et leur etat unloaded/loading/loaded
/data/ai/switch-llm.sh switch qwen3-coder-next # envoie un ping de 1 token pour forcer le chargement, affiche le temps de reponse, puis le statut
/data/ai/switch-llm.sh switch gpt-oss-120b # revient sur gpt-oss-120b (decharge automatiquement l'autre modele, --models-max 1)
Testé le 14/09/2026 : gpt-oss-120b → qwen3-coder-next → gpt-oss-120b, statuts corrects à chaque étape (rechargement de gpt-oss-120b en 18,9 s une fois le fichier déjà passé en cache disque OS, contre plusieurs minutes à froid).
7. Digression réglée en cours de route : paquets NVIDIA cassés sur HAL
Un apt install nvidia-smi antérieur (probablement par réflexe venant de srv18, qui a une vraie RTX 3060) avait entraîné toute la métapackage nvidia-driver sur HAL — une machine 100 % AMD. Le module DKMS ne compilait plus contre le noyau courant (7.1.8+deb13-amd64), laissant nvidia-driver/nvidia-kernel-dkms à moitié configurés en permanence : chaque apt install, même sans rapport, republiait ces logs de compilation nvidia (source de confusion initiale avec le téléchargement aria2c). Purge complète faite (44 paquets NVIDIA + 4 orphelins, ~545 Mo libérés) :
apt purge -y $(dpkg -l | grep -i nvidia | awk '{print $2}') && apt autoremove -y
8. Sources
- llama.cpp — README router mode
- llama.cpp — format preset INI
- New in llama.cpp: Model Management
- unsloth/Qwen3-Coder-Next-GGUF
- ggml-org/gpt-oss-120b-GGUF (dépôt réellement utilisé sur HAL)
- gpt-oss-120b & gpt-oss-20b Model Card
Voir aussi Migrer le RAG local de srv18 (qwen3:14b / RTX 3060) vers le Framework (gpt-oss-120b / 128 Go) et le runbook /data/ai/HAL-setup.md sur HAL.