Info::IA:pcIARouter pour changer de modèle LLM sur HAL

De wiki_pcwiki2
Aller à la navigationAller à la recherche

KEYWORDS: PCIAROUTER, LLM, MODEL

Le14/09/2026:

pcIaRouter by PCStreet

Version : V1.01

Date : 2026-09-14

Auteur : pcroad

Fonctionnement

pcIaRouter est une application graphique (Dear ImGui / GLFW / OpenGL3) de supervision et de pilotage des LLM [https://github.com/ggml-org/llama.cpp llama.cpp] sur une machine hôte (typiquement HAL), potentiellement distante. Elle cible le mode routeur natif de llama-server (fonctionnalité "Using multiple models" de llama.cpp), pas llama-swap.

Sur HAL, l'installation typique comprend :

  • un routeur : llama-server lancé sans modèle (mode
 routeur), qui gère le chargement/déchargement à la demande d'un ensemble
 de gros modèles qui se partagent le GPU (ex. gpt-oss-120b et
 qwen3-coder-next) ;
  • des serveurs permanents : des instances llama-server
 distinctes, lancées directement avec un seul modèle (pas en mode routeur),
 qui tournent en continu -- typiquement un modèle de FIM (complétion de
 code) et un reranker. Elles n'ont pas de notion de charger/décharger.

L'application :

  • affiche en permanence une barre de statut en bas de la fenêtre : état de
 connexion au routeur, modèle(s) actuellement chargé(s) (avec tokens de
 contexte utilisés), et état + tokens de chaque serveur permanent ;
  • liste dans un premier tableau tous les modèles connus du routeur (chargés
 ou non), avec pour chacun un bouton "Activer (swap)" ou "Décharger" ;
  • liste dans un second tableau les serveurs permanents (nom, adresse,
 contexte utilisé), en lecture seule ;
  • permet de "switcher" entre modèles d'un seul clic ("Activer (swap)") :
 pcIaRouter décharge automatiquement le(s) modèle(s) actuellement chargé(s)
 sur le routeur, puis charge le modèle cible ;
  • peut s'exécuter sur une machine différente de HAL (poste de développement,
 autre serveur), puisque toute la communication passe par HTTP (host/port
 configurables par cible).

Doublons de catalogue (cache HuggingFace)

Le catalogue du routeur liste parfois le même modèle deux fois : une fois sous son identifiant brut de cache HuggingFace (toujours de la forme auteur/dépôt:tag, provenant d'un téléchargement -hf), une fois sous un alias local convivial défini par un preset ou --models-dir sur HAL, les deux pointant vers le même fichier .gguf. L'API ne relie pas ces deux entrées entre elles. pcIaRouter les rapproche automatiquement (nom de dépôt + tag de quantization retrouvés dans le nom du fichier local) et masque l'entrée brute, en ne gardant que l'alias local -- sans jamais masquer une entrée qui n'a pas de doublon avéré. Cette déduplication ne s'applique qu'à l'intérieur du catalogue du routeur ; elle ne rapproche pas un modèle du routeur d'un serveur permanent, même si c'est conceptuellement le même modèle (cas de ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF:Q8_0 et du serveur FIM, par exemple).

Alternative côté HAL : l'option de preset dedup-cache-models = true (section [*] du fichier --models-preset) supprime directement ces entrées brutes du GET /models de llama-server.

Modifier un paramètre de lancement (ex. ctx-size)

Les paramètres de lancement d'un modèle (taille de contexte, n-gpu-layers, etc.) viennent du preset côté HAL (--models-preset), pas de pcIaRouter : POST /models/load ne prend qu'un identifiant de modèle, aucun paramètre de lancement. pcIaRouter ne peut donc pas piloter ces valeurs directement.

Pour changer par exemple ctx-size :

  1. Éditez la section correspondante du fichier --models-preset IE: hal::/data/ia/models.ini
  sur HAL (ex. ctx-size = 262144 pour passer à 256K).
  1. Cliquez sur Recharger la config du routeur dans pcIaRouter (ou
  GET /models?reload=1) : si le modèle modifié est chargé, le
  routeur le décharge automatiquement (config source différente).
  1. Rechargez le modèle (Activer (swap)) : il démarre avec la
  configuration à jour.

Le bouton lui-même ne fait que déclencher cette relecture ; il ne modifie aucun fichier sur HAL.

Pourquoi un déchargement explicite avant de charger ?

L'API native de llama-server ne propose pas d'endpoint de swap atomique. Un test effectué en conditions réelles sur HAL (14/09/2026) a confirmé qu'elle n'évince pas non plus automatiquement un modèle déjà chargé pour faire de la place : charger un second modèle alors qu'un premier est déjà chargé (ex. gpt-oss-120b) échoue avec {"error":{"code":500,"message":"model limit reached, try again later"}}, sans toucher au modèle déjà en place. Sur HAL, le routeur est lancé avec --models-max 1 (un seul modèle chargé à la fois, quelle que soit sa taille -- voir la ligne de commande complète ci-dessous) ; avec la valeur par défaut (4), la même limite finirait par être atteinte de toute façon dès que la VRAM disponible est épuisée. pcIaRouter décharge donc explicitement avant de charger ; le temps total (déchargement + chargement) reste incompressible, mais l'utilisateur n'a plus qu'un seul clic à faire.

Configuration constatée sur HAL (14/09/2026)

Trois processus llama-server distincts (via ps aux) :

# FIM (serveur permanent, port 8012)
llama-server -m /data/ai/models/gguf/qwen2.5-coder-7b-q8_0.gguf \
    --alias qwen2.5-coder-7b-fim --host 192.168.1.111 --port 8012 -ngl 99 -c 4096

# Reranker (serveur permanent, port 8091)
llama-server -m /data/ai/models/gguf/bge-reranker-v2-m3-FP16.gguf \
    --alias bge-reranker-v2-m3 --reranking --host 0.0.0.0 --port 8091 -ngl 99

# Routeur (port 8090)
llama-server --models-preset /data/ai/models.ini --models-max 1 \
    --host 0.0.0.0 --port 8090 -fa on --jinja -ngl 999

Le fichier preset du routeur est donc /data/ai/models.ini sur HAL.

Contenu reconstitué de /data/ai/models.ini

Avertissement : pcIaRouter n'a pas d'accès au système de fichiers de HAL (pas de clé SSH configurée). Le contenu ci-dessous n'est donc pas une lecture directe du fichier, mais une reconstitution à partir du champ "preset" que GET /models renvoie pour chaque modèle (configuration effective, section [*] globale déjà fusionnée avec la section propre à chaque modèle). La mise en page exacte (ordre des clés, commentaires, autres modèles non repérés) peut différer du fichier réel.

Les trois valeurs jinja, flash-attn et n-gpu-layers sont identiques sur les 5 modèles vus par le routeur, y compris les deux entrées de cache sans preset propre -- elles proviennent donc très probablement d'une section globale [*] :

[*]
jinja = 1
flash-attn = on
n-gpu-layers = 999

[gpt-oss-120b]
model = /data/ai/models/gguf/gpt-oss-120b-MXFP4.gguf

[qwen3-coder-next]
ctx-size = 65536
model = /data/ai/models/gguf/qwen3-coder-next/Qwen3-Coder-Next-Q6_K-00001-of-00003.gguf

Les deux entrées suivantes n'ont pas de section propre identifiée (elles apparaissent au catalogue via le cache HuggingFace -hf, pas via un preset local) :

ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF:Q8_0
gpustack/bge-reranker-v2-m3-GGUF:FP16

Pour passer qwen3-coder-next à son contexte maximal (n_ctx_train = 262144), la ligne à modifier est donc :

[qwen3-coder-next]
ctx-size = 262144

API llama-server utilisée

Endpoint Cible Usage dans pcIaRouter
GET /health Routeur + serveurs permanents Ping de connectivité
GET /models Routeur uniquement Catalogue + état de chargement (mode routeur)
POST /models/load Routeur uniquement Charge un modèle ({"model": id})
POST /models/unload Routeur uniquement Décharge un modèle ({"model": id})
GET /slots?model={id} Routeur (modèle chargé) Contexte/tokens du modèle ciblé
GET /slots Serveur permanent Contexte/tokens (un seul modèle, pas de paramètre nécessaire)

Limite connue : contrairement à llama-swap, l'API native de llama-server n'expose ni la RAM système libre, ni le nombre de threads CPU, ni la VRAM globale de la machine (uniquement des métriques d'inférence via /metrics, si activé). La barre de statut de pcIaRouter ne peut donc pas afficher ces informations pour l'instant ; seuls les tokens de contexte par modèle sont disponibles.

Syntaxe

pcIaRouter [options]

Options

Option Description Exemple
-h, --help Affiche l'aide et quitte. pcIaRouter --help
--host <adresse> Adresse du routeur llama-server (défaut : hal.pcstreet.org). pcIaRouter --host 192.168.1.50
--port <port> Port TCP du routeur (défaut : 8090). pcIaRouter --port 9292
--api-key <cle> Clé d'API si le routeur est protégé (--api-key de llama-server). pcIaRouter --api-key sk-xxxxx
--interval <ms> Cadence de rafraîchissement du statut, en millisecondes (défaut : 2000). pcIaRouter --interval 1000
--timeout Timeout des requêtes de supervision (défaut : 5). pcIaRouter --timeout 3
--load-timeout Timeout du chargement d'un modèle (défaut : 120). pcIaRouter --load-timeout 300
--config <fichier> Fichier de configuration JSON alternatif. pcIaRouter --config /etc/pcIaRouter.json

Les paramètres de connexion et la liste des serveurs permanents sont aussi modifiables et sauvegardables depuis l'écran Paramètres de l'interface.

Fichiers de configuration

config.json

~/.config/pcIaRouter/config.json (JSON, nlohmann::json) : paramètres de connexion au routeur (host, port, clé API, intervalles/timeouts).

{
    "host": "hal.pcstreet.org",
    "port": 8090,
    "api_key": "",
    "refresh_interval_ms": 2000,
    "request_timeout_s": 5,
    "load_timeout_s": 120
}

Attention : la clé API est enregistrée en clair dans ce fichier.

pcIaRouter.ini

~/.config/pcIaRouter/pcIaRouter.ini (format INI, lu/écrit via Boost.PropertyTree) : liste des serveurs permanents, éditable à la main ou depuis l'écran Paramètres.

[fim]
name = FIM (qwen2.5-coder-7b-fim)
host = hal.pcstreet.org
port = 8012

[reranker]
name = Reranker (bge-reranker-v2-m3)
host = hal.pcstreet.org
port = 8091

Pièges connus

  • Réseau : si le routeur écoute sur 127.0.0.1 plutôt que
 sur 0.0.0.0 côté HAL, il refusera toute connexion venant du
 réseau, même si le port est ouvert localement sur HAL.
  • Clé API en clair : config.json n'est pas chiffré.
  • TLS non supporté : le client HTTP (Boost.Beast) ne gère que
 http:// en V1.01, pas https://.
  • RAM/CPU/VRAM système non disponibles : voir "Limite connue" ci-dessus.
  • Pas d'éviction automatique : voir "Pourquoi un déchargement explicite" ci-dessus.
  • Un seul routeur à la fois : pcIaRouter ne pilote qu'un routeur (une
 cible host:port) à la fois ; les autres modèles/serveurs peuvent être
 ajoutés comme "serveurs permanents" en lecture seule.

Build

Paquets Debian requis :

apt install cmake g++ libboost-all-dev nlohmann-json3-dev \
    libglfw3-dev libgl-dev pkg-config

Compilation :

cmake -S . -B build
cmake --build build -j"$(nproc)"

Le binaire produit est build/pcIaRouter.

Dear ImGui (v1.92.9) et ses backends GLFW/OpenGL3 sont fournis directement dans external/imgui/ (pas de dépendance réseau au moment du build : ImGui est conçu pour être compilé directement dans l'application, pas utilisé comme bibliothèque partagée pré-compilée).