Info::IA:pcIARouter pour changer de modèle LLM sur HAL
KEYWORDS: PCIAROUTER, LLM, MODEL
Le14/09/2026:
pcIaRouter by PCStreet
Version : V1.01
Date : 2026-09-14
Auteur : pcroad
Fonctionnement
pcIaRouter est une application graphique (Dear ImGui / GLFW / OpenGL3)
de supervision et de pilotage des LLM [https://github.com/ggml-org/llama.cpp
llama.cpp] sur une machine hôte (typiquement HAL), potentiellement
distante. Elle cible le mode routeur natif de llama-server
(fonctionnalité "Using multiple models" de llama.cpp), pas llama-swap.
Sur HAL, l'installation typique comprend :
- un routeur :
llama-serverlancé sans modèle (mode
routeur), qui gère le chargement/déchargement à la demande d'un ensemble de gros modèles qui se partagent le GPU (ex.gpt-oss-120betqwen3-coder-next) ;
- des serveurs permanents : des instances
llama-server
distinctes, lancées directement avec un seul modèle (pas en mode routeur), qui tournent en continu -- typiquement un modèle de FIM (complétion de code) et un reranker. Elles n'ont pas de notion de charger/décharger.
L'application :
- affiche en permanence une barre de statut en bas de la fenêtre : état de
connexion au routeur, modèle(s) actuellement chargé(s) (avec tokens de contexte utilisés), et état + tokens de chaque serveur permanent ;
- liste dans un premier tableau tous les modèles connus du routeur (chargés
ou non), avec pour chacun un bouton "Activer (swap)" ou "Décharger" ;
- liste dans un second tableau les serveurs permanents (nom, adresse,
contexte utilisé), en lecture seule ;
- permet de "switcher" entre modèles d'un seul clic ("Activer (swap)") :
pcIaRouter décharge automatiquement le(s) modèle(s) actuellement chargé(s) sur le routeur, puis charge le modèle cible ;
- peut s'exécuter sur une machine différente de HAL (poste de développement,
autre serveur), puisque toute la communication passe par HTTP (host/port configurables par cible).
Doublons de catalogue (cache HuggingFace)
Le catalogue du routeur liste parfois le même modèle deux fois : une fois
sous son identifiant brut de cache HuggingFace (toujours de la forme
auteur/dépôt:tag, provenant d'un téléchargement -hf),
une fois sous un alias local convivial défini par un preset ou
--models-dir sur HAL, les deux pointant vers le même fichier
.gguf. L'API ne relie pas ces deux entrées entre elles.
pcIaRouter les rapproche automatiquement (nom de dépôt + tag de
quantization retrouvés dans le nom du fichier local) et masque l'entrée
brute, en ne gardant que l'alias local -- sans jamais masquer une entrée
qui n'a pas de doublon avéré. Cette déduplication ne s'applique qu'à
l'intérieur du catalogue du routeur ; elle ne rapproche pas un modèle du
routeur d'un serveur permanent, même si c'est conceptuellement le même
modèle (cas de ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF:Q8_0 et
du serveur FIM, par exemple).
Alternative côté HAL : l'option de preset dedup-cache-models = true
(section [*] du fichier --models-preset) supprime
directement ces entrées brutes du GET /models de llama-server.
Modifier un paramètre de lancement (ex. ctx-size)
Les paramètres de lancement d'un modèle (taille de contexte, n-gpu-layers,
etc.) viennent du preset côté HAL (--models-preset), pas
de pcIaRouter : POST /models/load ne prend qu'un identifiant de
modèle, aucun paramètre de lancement. pcIaRouter ne peut donc pas piloter
ces valeurs directement.
Pour changer par exemple ctx-size :
- Éditez la section correspondante du fichier
--models-presetIE: hal::/data/ia/models.ini
sur HAL (ex. ctx-size = 262144 pour passer à 256K).
- Cliquez sur Recharger la config du routeur dans pcIaRouter (ou
GET /models?reload=1) : si le modèle modifié est chargé, le
routeur le décharge automatiquement (config source différente).
- Rechargez le modèle (Activer (swap)) : il démarre avec la
configuration à jour.
Le bouton lui-même ne fait que déclencher cette relecture ; il ne modifie aucun fichier sur HAL.
Pourquoi un déchargement explicite avant de charger ?
L'API native de llama-server ne propose pas d'endpoint de swap atomique.
Un test effectué en conditions réelles sur HAL (14/09/2026) a confirmé
qu'elle n'évince pas non plus automatiquement un modèle déjà chargé pour
faire de la place : charger un second modèle alors qu'un premier est déjà
chargé (ex. gpt-oss-120b) échoue avec
{"error":{"code":500,"message":"model limit reached, try again
later"}}, sans toucher au modèle déjà en place. Sur HAL, le routeur
est lancé avec --models-max 1 (un seul modèle chargé à la
fois, quelle que soit sa taille -- voir la ligne de commande complète
ci-dessous) ; avec la valeur par défaut (4), la même limite finirait par
être atteinte de toute façon dès que la VRAM disponible est épuisée.
pcIaRouter décharge donc explicitement avant de charger ; le temps total
(déchargement + chargement) reste incompressible, mais l'utilisateur n'a
plus qu'un seul clic à faire.
Configuration constatée sur HAL (14/09/2026)
Trois processus llama-server distincts (via ps aux) :
# FIM (serveur permanent, port 8012)
llama-server -m /data/ai/models/gguf/qwen2.5-coder-7b-q8_0.gguf \
--alias qwen2.5-coder-7b-fim --host 192.168.1.111 --port 8012 -ngl 99 -c 4096
# Reranker (serveur permanent, port 8091)
llama-server -m /data/ai/models/gguf/bge-reranker-v2-m3-FP16.gguf \
--alias bge-reranker-v2-m3 --reranking --host 0.0.0.0 --port 8091 -ngl 99
# Routeur (port 8090)
llama-server --models-preset /data/ai/models.ini --models-max 1 \
--host 0.0.0.0 --port 8090 -fa on --jinja -ngl 999
Le fichier preset du routeur est donc /data/ai/models.ini sur HAL.
Contenu reconstitué de /data/ai/models.ini
Avertissement : pcIaRouter n'a pas d'accès au système de fichiers de
HAL (pas de clé SSH configurée). Le contenu ci-dessous n'est donc pas
une lecture directe du fichier, mais une reconstitution à partir du champ
"preset" que GET /models renvoie pour chaque
modèle (configuration effective, section [*] globale
déjà fusionnée avec la section propre à chaque modèle). La mise en page
exacte (ordre des clés, commentaires, autres modèles non repérés) peut
différer du fichier réel.
Les trois valeurs jinja, flash-attn et
n-gpu-layers sont identiques sur les 5 modèles vus par le
routeur, y compris les deux entrées de cache sans preset propre -- elles
proviennent donc très probablement d'une section globale [*] :
[*] jinja = 1 flash-attn = on n-gpu-layers = 999 [gpt-oss-120b] model = /data/ai/models/gguf/gpt-oss-120b-MXFP4.gguf [qwen3-coder-next] ctx-size = 65536 model = /data/ai/models/gguf/qwen3-coder-next/Qwen3-Coder-Next-Q6_K-00001-of-00003.gguf
Les deux entrées suivantes n'ont pas de section propre identifiée (elles
apparaissent au catalogue via le cache HuggingFace -hf, pas
via un preset local) :
ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF:Q8_0 gpustack/bge-reranker-v2-m3-GGUF:FP16
Pour passer qwen3-coder-next à son contexte maximal
(n_ctx_train = 262144), la ligne à modifier est donc :
[qwen3-coder-next] ctx-size = 262144
API llama-server utilisée
| Endpoint | Cible | Usage dans pcIaRouter |
|---|---|---|
GET /health |
Routeur + serveurs permanents | Ping de connectivité |
GET /models |
Routeur uniquement | Catalogue + état de chargement (mode routeur) |
POST /models/load |
Routeur uniquement | Charge un modèle ({"model": id})
|
POST /models/unload |
Routeur uniquement | Décharge un modèle ({"model": id})
|
GET /slots?model={id} |
Routeur (modèle chargé) | Contexte/tokens du modèle ciblé |
GET /slots |
Serveur permanent | Contexte/tokens (un seul modèle, pas de paramètre nécessaire) |
Limite connue : contrairement à llama-swap, l'API native de
llama-server n'expose ni la RAM système libre, ni le nombre de threads CPU,
ni la VRAM globale de la machine (uniquement des métriques d'inférence via
/metrics, si activé). La barre de statut de pcIaRouter ne peut
donc pas afficher ces informations pour l'instant ; seuls les tokens de
contexte par modèle sont disponibles.
Syntaxe
pcIaRouter [options]
Options
| Option | Description | Exemple |
|---|---|---|
-h, --help |
Affiche l'aide et quitte. | pcIaRouter --help
|
--host <adresse> |
Adresse du routeur llama-server (défaut : hal.pcstreet.org). | pcIaRouter --host 192.168.1.50
|
--port <port> |
Port TCP du routeur (défaut : 8090). | pcIaRouter --port 9292
|
--api-key <cle> |
Clé d'API si le routeur est protégé (--api-key de llama-server). |
pcIaRouter --api-key sk-xxxxx
|
--interval <ms> |
Cadence de rafraîchissement du statut, en millisecondes (défaut : 2000). | pcIaRouter --interval 1000
|
--timeout |
Timeout des requêtes de supervision (défaut : 5). | pcIaRouter --timeout 3
|
--load-timeout |
Timeout du chargement d'un modèle (défaut : 120). | pcIaRouter --load-timeout 300
|
--config <fichier> |
Fichier de configuration JSON alternatif. | pcIaRouter --config /etc/pcIaRouter.json
|
Les paramètres de connexion et la liste des serveurs permanents sont aussi modifiables et sauvegardables depuis l'écran Paramètres de l'interface.
Fichiers de configuration
config.json
~/.config/pcIaRouter/config.json (JSON, nlohmann::json) :
paramètres de connexion au routeur (host, port, clé API, intervalles/timeouts).
{
"host": "hal.pcstreet.org",
"port": 8090,
"api_key": "",
"refresh_interval_ms": 2000,
"request_timeout_s": 5,
"load_timeout_s": 120
}
Attention : la clé API est enregistrée en clair dans ce fichier.
pcIaRouter.ini
~/.config/pcIaRouter/pcIaRouter.ini (format INI, lu/écrit via
Boost.PropertyTree) : liste des serveurs permanents, éditable à la main ou
depuis l'écran Paramètres.
[fim] name = FIM (qwen2.5-coder-7b-fim) host = hal.pcstreet.org port = 8012 [reranker] name = Reranker (bge-reranker-v2-m3) host = hal.pcstreet.org port = 8091
Pièges connus
- Réseau : si le routeur écoute sur
127.0.0.1plutôt que
sur 0.0.0.0 côté HAL, il refusera toute connexion venant du
réseau, même si le port est ouvert localement sur HAL.
- Clé API en clair :
config.jsonn'est pas chiffré. - TLS non supporté : le client HTTP (Boost.Beast) ne gère que
http://en V1.01, pashttps://.
- RAM/CPU/VRAM système non disponibles : voir "Limite connue" ci-dessus.
- Pas d'éviction automatique : voir "Pourquoi un déchargement explicite" ci-dessus.
- Un seul routeur à la fois : pcIaRouter ne pilote qu'un routeur (une
cible host:port) à la fois ; les autres modèles/serveurs peuvent être ajoutés comme "serveurs permanents" en lecture seule.
Build
Paquets Debian requis :
apt install cmake g++ libboost-all-dev nlohmann-json3-dev \
libglfw3-dev libgl-dev pkg-config
Compilation :
cmake -S . -B build cmake --build build -j"$(nproc)"
Le binaire produit est build/pcIaRouter.
Dear ImGui (v1.92.9) et ses backends GLFW/OpenGL3 sont fournis directement
dans external/imgui/ (pas de dépendance réseau au moment du
build : ImGui est conçu pour être compilé directement dans l'application,
pas utilisé comme bibliothèque partagée pré-compilée).