Info::IA:comment utiliser llama.cpp en mode routeur et comment télécharger les LLM

De wiki_pcwiki2
Aller à la navigationAller à la recherche

KEYWORDS: IA, LLAMA.CPP, ROUTER, ROUTEUR, HUGGINGFACE

Le 14/09/2026:

Choisir un LLM local pour coder en C++ et router mode llama.cpp sur HAL

Note (14/09/2026) : synthèse d'une session de travail sur le choix d'un modèle de code local pour HAL (Framework Desktop, Ryzen AI Max+ 395 « Strix Halo », 128 Go de mémoire unifiée, 96 Go alloués au GPU en BIOS), et sur la migration du service llama-server existant vers le router mode pour basculer entre gpt-oss-120b et Qwen3-Coder-Next sans redémarrage. Voir le runbook général de la machine : /data/ai/HAL-setup.md.

1. Contexte matériel et logiciel réel (HAL)

  • iGPU Radeon 8060S = gfx1151, réglé en BIOS UMA_SPECIFIED 96 Go dédiés (RAM système restante ~32 Go).
  • Kernel 7.1.8+deb13-amd64, backend Vulkan (RADV STRIX_HALO) — nettement plus rapide que le ROCm 7.2 embarqué d'ollama sur ce iGPU (+50 % en génération, mesuré sur gpt-oss-120b).
  • llama.cpp déjà cloné et compilé dans /data/ai/src/llama.cpp (-DGGML_VULKAN=ON).
  • Tout tourne sous l'utilisateur pchevalier (groupes render/video) ; root réservé à apt/grub/systemd.
  • Modèles GGUF dans /data/ai/models/gguf/, cache Hugging Face dans HF_HOME=/data/ai/models/hf.
  • Service systemd llama-server.service (port 8090 — 8080 est pris par motion), consommé par la fonction Pipe OpenWebUI pcwiki_srv18 (RAG : retrieval sur srv18, génération sur HAL).

2. Modèles retenus pour du code C++

Correction importante : il n'existe pas de Qwen3-Coder-32B dense. La gamme Qwen3-Coder n'est publiée qu'en MoE (30B-A3B, Next 80B-A3B, 480B-A35B). Le seul « 32B dense » de la famille Qwen3 est le modèle généraliste Qwen3-32B (pas spécialisé code).

Modèle Architecture Total / actifs Taille GGUF (quant retenue) Usage
Qwen3-Coder-Next MoE (512 experts, hybride Gated DeltaNet/Attention) 80B / 3B actifs ~61 Go en Q6_K Choix n°1 : ~70 % SWE-bench, meilleur pour l'agentique et le C++/STL/Boost complexe
Qwen3-Coder-30B-A3B-Instruct MoE 30B / 3B actifs ~32 Go en Q8_0 Rapide, tient large dans 96 Go, bon pour itération/autocomplétion
gpt-oss-120b MoE, FFN natif MXFP4 (ne se re-quantifie pas plus bas) 117B / 5.1B actifs 59 Gio natif MXFP4 (ggml-org/gpt-oss-120b-GGUF) Déjà en service sur HAL, second avis / raisonnement
GLM-4.5-Air MoE (~12B actifs) ~106B total ~60-70 Go en Q4_K_M Alternative si template metaprogramming très complexe
DeepSeek V4-Pro / GLM-5.x / Kimi K2.x MoE de pointe jusqu'à 1T 80 Go-class multi-GPU Hors budget sur 96 Go de mémoire unifiée partagée

Contrainte mémoire clé : gpt-oss-120b (~59 Gio) et Qwen3-Coder-Next Q6_K (~61 Go) ne tiennent pas ensemble dans 96 Go. Le router llama.cpp fait donc du swap à la demande (--models-max 1), pas de la cohabitation.

3. Télécharger un GGUF — toujours vérifier la structure réelle du dépôt

Les noms de fichiers et le nombre de shards varient d'un dépôt à l'autre (sous-dossier par quant, 2 ou 3 shards) — à vérifier avant de lancer un téléchargement de plusieurs dizaines de Go :

curl -s https://huggingface.co/api/models/unsloth/Qwen3-Coder-Next-GGUF \
  | jq -r '.siblings[].rfilename' | grep -i Q6_K

Sur unsloth/Qwen3-Coder-Next-GGUF, le Q6_K est dans un sous-dossier, en 3 shards : Q6_K/Qwen3-Coder-Next-Q6_K-0000{1,2,3}-of-00003.gguf (~61 Go au total).

Sur unsloth/gpt-oss-120b-GGUF, il n'existe pas de fichier « mxfp4 » : le modèle garde ses poids MoE (90 %+ des paramètres) nativement en MXFP4 quel que soit le quant choisi, donc F16/Q8_0/Q6_K font tous ~63-65 Go. Sur HAL, c'est le dépôt ggml-org/gpt-oss-120b-GGUF (officiel, pas unsloth) qui a été utilisé, avec le fichier natif gpt-oss-120b-MXFP4.gguf (59 Gio) — téléchargé directement par le mécanisme -hf intégré à llama-server/llama-cli, sans étape manuelle.

Téléchargement effectivement utilisé sur HAL (répertoire réel, pas de cache HF pour ce modèle-ci — dossier propre sous pchevalier) :

sudo -u pchevalier mkdir -p /data/ai/models/gguf/qwen3-coder-next
for f in 00001-of-00003 00002-of-00003 00003-of-00003; do
  URL="https://huggingface.co/unsloth/Qwen3-Coder-Next-GGUF/resolve/main/Q6_K/Qwen3-Coder-Next-Q6_K-${f}.gguf"
  sudo -u pchevalier aria2c -x16 -s16 -c \
    -d /data/ai/models/gguf/qwen3-coder-next \
    -o "Qwen3-Coder-Next-Q6_K-${f}.gguf" "$URL"
done

Résultat obtenu (14/09/2026, ~110 MiB/s) : les 3 shards en /data/ai/models/gguf/qwen3-coder-next/, ~61 Go au total.

Astuce : lancer ce téléchargement pendant que le service llama-server tourne encore normalement (aucun conflit, c'est un simple transfert disque/réseau, pas de GPU impliqué) — ne couper le service qu'au moment de basculer sur la nouvelle config, pour minimiser l'indisponibilité du RAG.

4. Migration de llama-server.service vers le router mode

Le service existant (/etc/systemd/system/llama-server.service) pointait en dur sur gpt-oss-120b via -m ... --alias gpt-oss-120b. Migration faite par override systemd (non destructif, réversible), sans toucher au fichier unit d'origine.

Preset /data/ai/models.ini (section = identifiant de modèle vu par l'API OpenAI — gpt-oss-120b conservé à l'identique pour rester compatible avec la fonction Pipe pcwiki_srv18, valve LLM_MODEL) :

[*]
n-gpu-layers = 999
jinja = true
[gpt-oss-120b]
model = /data/ai/models/gguf/gpt-oss-120b-MXFP4.gguf
[qwen3-coder-next]
model = /data/ai/models/gguf/qwen3-coder-next/Qwen3-Coder-Next-Q6_K-00001-of-00003.gguf
ctx-size = 65536

Override /etc/systemd/system/llama-server.service.d/override.conf (créé via systemctl edit llama-server ; la ligne ExecStart= vide est obligatoire pour effacer l'ancien ExecStart avant de le redéfinir) :

[Service]
ExecStart=
ExecStart=/data/ai/src/llama.cpp/build/bin/llama-server \
    --models-preset /data/ai/models.ini \
    --models-max 1 \
    --host 0.0.0.0 --port 8090 \
    -fa on --jinja -ngl 999

Application :

systemctl daemon-reload
systemctl restart llama-server

5. Vérification (résultats réels du 14/09/2026)

Liste des modèles vus par le routeur (curl http://127.0.0.1:8090/models) : en plus des deux modèles du preset, le routeur a auto-détecté deux modèles déjà présents dans le cache HF — qwen2.5-coder-7b-q8_0 et bge-reranker-v2-m3 — utilisables eux aussi via l'API sans configuration supplémentaire.

Test Résultat
Rechargement gpt-oss-120b après restart du service OK, ~18 s (cold load)
Bascule vers qwen3-coder-next ("model":"qwen3-coder-next") OK, ~3 min 37 s au premier chargement à froid (lecture disque de 61 Go) — plus rapide ensuite grâce au cache page OS
gpt-oss-120b déchargé automatiquement pendant que qwen3-coder-next est chargé Confirmé (--models-max 1)
Fonction Pipe pcwiki_srv18 (OpenWebUI) Aucune modification nécessaire — même alias, même port 8090

Exemple d'appel :

curl http://127.0.0.1:8090/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3-coder-next","messages":[{"role":"user","content":"..."}]}'

Vérifier l'état sans déclencher de chargement :

curl http://127.0.0.1:8090/models
# renvoie "status":{"value":"unloaded|loading|loaded"} pour chaque modèle

Point d'attention : compter plusieurs minutes de latence au premier appel après chaque bascule à froid (lecture disque ~60 Go) — pas gênant pour un usage interactif ponctuel, à garder en tête si un appel automatisé (ex. la fonction Pipe RAG) a un timeout court.

6. Script de bascule

Script installé sur HAL : /data/ai/switch-llm.sh (exécutable, propriétaire pchevalier). Dépend de jq et column (déjà présents sur HAL).

#!/usr/bin/env bash
# Bascule / consultation des modeles servis par llama-server (router mode, port 8090)
set -euo pipefail
BASE_URL="http://127.0.0.1:8090"
usage() {
  echo "Usage: $0 status|list" >&2
  echo "       $0 switch <model-id>   (ex: gpt-oss-120b, qwen3-coder-next)" >&2
  exit 1
}
status() {
  curl -s "$BASE_URL/models" | jq -r '.data[] | "\(.id)\t\(.status.value)"' | column -t
}
case "${1:-}" in
  status|list)
    status
    ;;
  switch)
    MODEL="${2:?Usage: $0 switch <model-id>}"
    echo "Bascule vers ${MODEL} (peut prendre plusieurs minutes au premier chargement a froid)..."
    curl -s "$BASE_URL/v1/chat/completions" \
      -H "Content-Type: application/json" \
      -d "{\"model\":\"${MODEL}\",\"messages\":[{\"role\":\"user\",\"content\":\"ping\"}],\"max_tokens\":1}" \
      -o /dev/null -w "HTTP %{http_code} en %{time_total}s\n"
    status
    ;;
  *)
    usage
    ;;
esac

Usage (en tant que pchevalier, ou root via sudo -u pchevalier) :

/data/ai/switch-llm.sh status
# liste tous les modeles connus du routeur (preset + cache HF) et leur etat unloaded/loading/loaded
/data/ai/switch-llm.sh switch qwen3-coder-next
# envoie un ping de 1 token pour forcer le chargement, affiche le temps de reponse, puis le statut
/data/ai/switch-llm.sh switch gpt-oss-120b
# revient sur gpt-oss-120b (decharge automatiquement l'autre modele, --models-max 1)

Testé le 14/09/2026 : gpt-oss-120b → qwen3-coder-next → gpt-oss-120b, statuts corrects à chaque étape (rechargement de gpt-oss-120b en 18,9 s une fois le fichier déjà passé en cache disque OS, contre plusieurs minutes à froid).

7. Digression réglée en cours de route : paquets NVIDIA cassés sur HAL

Un apt install nvidia-smi antérieur (probablement par réflexe venant de srv18, qui a une vraie RTX 3060) avait entraîné toute la métapackage nvidia-driver sur HAL — une machine 100 % AMD. Le module DKMS ne compilait plus contre le noyau courant (7.1.8+deb13-amd64), laissant nvidia-driver/nvidia-kernel-dkms à moitié configurés en permanence : chaque apt install, même sans rapport, republiait ces logs de compilation nvidia (source de confusion initiale avec le téléchargement aria2c). Purge complète faite (44 paquets NVIDIA + 4 orphelins, ~545 Mo libérés) :

apt purge -y $(dpkg -l | grep -i nvidia | awk '{print $2}') && apt autoremove -y

8. Sources

Voir aussi Migrer le RAG local de srv18 (qwen3:14b / RTX 3060) vers le Framework (gpt-oss-120b / 128 Go) et le runbook /data/ai/HAL-setup.md sur HAL.