Info::IA:::Rag cheminement des IA, LLM et hosts

De wiki_pcwiki2
Aller à la navigationAller à la recherche

KEYWORDS: IA, RAG, CHEMINEMENT

Le 11/09/2026:
Claude a terminé la réponse.
A réfléchi pendant 19 s

Chaîne IA & RAG PCStreet

Date : 10/09/2026

Rôle de cette page : vue d'ensemble de toute la chaîne IA utilisée pour le développement (pcClaude, IDE) et pour le RAG sur le wiki interne PCStreet — quel composant tourne où, sur quelle machine, et pour quel usage. Rédigée après une session de dépannage ayant révélé plusieurs confusions entre composants qui se ressemblent ; les pièges rencontrés sont documentés en fin de page pour ne pas les reproduire.

Ne pas confondre avec pcClaude.wiki, qui documente uniquement le programme pcClaude (lanceur de session Claude Code locale). Cette page couvre toute la chaîne, y compris ce qui ne dépend pas de pcClaude.

Logique texte → RAG

Étapes du pipeline, du texte source jusqu'à la réponse finale :

  1. Découpage (chunking) : le texte source (pages du wiki, PDF,
 etc.) est segmenté en morceaux de taille raisonnable (quelques
 centaines de tokens) — un LLM ne peut pas indexer un document entier
 comme un bloc unique.
  1. Embedding (vectorisation) : chaque chunk est transformé par un
 modèle dédié en un vecteur numérique (souvent 384 à 1536 dimensions)
 qui capture son sens sémantique — deux textes proches en signification
 produisent des vecteurs proches dans cet espace, même sans mots en
 commun. Sur cette chaîne : bge-m3 via Ollama (srv18:11434).
  1. Indexation : ces vecteurs sont stockés dans une base vectorielle
 (FAISS, Qdrant, pgvector...) permettant une recherche par similarité
 rapide.
  1. Requête : la question de l'utilisateur est vectorisée avec le
 même modèle d'embedding, pour être comparable aux chunks indexés.
  1. Retrieval (récupération) : recherche des N chunks dont le
 vecteur est le plus proche de celui de la question (similarité
 cosinus généralement) — rapide, mais pas toujours précise sur la
 pertinence fine.
  1. Reranking (réordonnancement) : un second modèle, plus lent mais
 plus précis, réexamine ces N candidats un par un face à la question
 exacte, et les réordonne par pertinence réelle — un filtre de qualité
 après la recherche rapide mais grossière du vecteur. Sur cette
 chaîne : bge-reranker-v2-m3 sur HAL (port 8091, GPU Vulkan/RADV)
 — voir Évolutions du 11/09/2026 pour l'historique des allers-retours
 CPU/GPU ce jour-là.
  1. Génération : les meilleurs chunks (post-reranking) sont
 injectés dans le prompt du LLM, qui rédige la réponse finale en
 s'appuyant dessus. Sur cette chaîne : gpt-oss-120b sur HAL
 (port 8090).

Traductions : embedding = plongement / vectorisation ; reranker = réordonnanceur / module de réordonnancement.

Résumé rapide

Composant Où Détail
pcwiki (contenu source, MediaWiki PCStreet) srv18

édité manuellement, source de vérité du contenu

wiki_sync (synchronisation pcwiki → RAG) srv18

automatisme Python, notifie par mail à chaque exécution

Open WebUI — usage quotidien (« IA PC (gpt-oss-120b) »)

srv18, port 8081 || interface utilisée au quotidien

Open WebUI — instance secondaire/test HAL, port 3000

banc de diagnostic, pas l'usage quotidien

LLM de génération (gpt-oss-120b) HAL, port 8090

(llama-server) || sert à la fois pcClaude, l'Open WebUI de srv18 et celui de HAL

Embeddings (bge-m3) srv18, port 11434 (Ollama)

vectorise les questions et les documents du wiki

Reranker (bge-reranker-v2-m3) HAL, port 8091

(llama-server, GPU) || reclasse les candidats après la recherche hybride

Autocomplétion code (qwen2.5-coder-7b, FIM) HAL, port 8012

(llama-server) || indépendant du reste de la chaîne

pcClaude (lanceur de session de développement) HAL,

terminal || voir ci-dessous : peut piloter soit Claude, soit un LLM local

pcClaude peut piloter deux backends différents derrière la même commande claude :

  1. Sans pcClaude : claude lancé directement se
 connecte à l'API Anthropic réelle, dans le cloud — les vrais modèles
 Claude (Sonnet, Opus...), avec la facturation et le compte Anthropic
 habituels.
  1. Avec pcClaude : le même binaire claude est lancé
 en sous-processus par pcClaude, qui redéfinit au préalable
 ANTHROPIC_BASE_URL et ANTHROPIC_AUTH_TOKEN
 pour rediriger tout le trafic vers llama-server sur HAL
 (port 8090, gpt-oss-120b) au lieu de l'API Anthropic — un jeton
 factice suffit car llama-server ne vérifie pas
 l'authentification. C'est ce mode que surveillent le marquage visuel
 (bannière, inversion de couleurs) et la barre de statut de contexte
 décrits dans pcClaude.wiki, justement pour ne jamais
 confondre une session locale (gratuite, gpt-oss-120b) avec une
 session cloud (payante, vrais modèles Claude).

Machines impliquées

Machine IP Rôle général
HAL 192.168.1.111 Machine de calcul (APU Strix Halo,

gfx1151, 128 Go RAM unifiée, 96 Go VRAM dédiée (carve-out BIOS, depuis le 11/09/2026 — auparavant 32 Go) + ~32 Go GTT, ~31 Go RAM système restants, 32 threads). Héberge les LLM de génération, de FIM et le reranker via llama-server (trois instances, voir détail par composant plus bas).

srv18 192.168.1.18 Serveur applicatif. Héberge l'Open WebUI

utilisé au quotidien, Ollama (embeddings), MariaDB/PostgreSQL (autres projets, sans rapport avec la chaîne IA), et l'automatisme wiki_sync.

Schéma du cheminement

                         ┌─────────────────────────────┐
                         │   MediaWiki PCStreet (pcWiki) │
                         └───────────────┬───────────────┘
                                          │ édition de page
                                          ▼
                         ┌─────────────────────────────┐
                         │  wiki_sync (automatisme Python,│
                         │  srv18) — notifie par mail      │
                         └───────────────┬───────────────┘
                                          │ push API
                                          ▼
        srv18 : Open WebUI (port 8081) — knowledge "Wiki PCStreet"
        (id b0d9c9f6-...), embeddings bge-m3 via Ollama (srv18:11434)
                    │                                   ▲
                    │ question utilisateur               │ reranking
                    │ (modèle "IA PC (gpt-oss-120b)")     │
                    ▼                                   │
        ┌─────────────────────────┐     ┌───────────────────────────┐
        │ HAL:8090 llama-server    │     │ HAL:8091 llama-server       │
        │ gpt-oss-120b (génération)│     │ bge-reranker-v2-m3 (rerank) │
        └─────────────────────────┘     └───────────────────────────┘

  Chemin séparé, pour le développement (pas de RAG) :
        pcClaude (terminal, HAL) ──► HAL:8090 llama-server (gpt-oss-120b)

  Chemin séparé, pour l'autocomplétion code (IDE) :
        éditeur/IDE ──► HAL:8012 llama-server (qwen2.5-coder-7b, FIM)

Quelle IA pour quelle fonction

Besoin Interface Modèle / service Où tourne le calcul
Session Claude Code locale (dev C++/Bash/SQL avec pcClaude)

terminal, commande pcClaude || gpt-oss-120b || HAL:8090

Chat quotidien + questions sur le wiki PCStreet + aide au

développement || Open WebUI srv18 (port 8081), modèle « IA PC (gpt-oss-120b) » (alias interne pcstreet-assistant)

génération : gpt-oss-120b · récupération : embeddings bge-m3 +

reranker bge-reranker-v2-m3 || génération sur HAL:8090, embeddings sur srv18 (Ollama :11434), reranking sur HAL:8091

Autocomplétion de code (fill-in-middle) dans l'éditeur/IDE

intégration IDE (ex. Continue.dev) || qwen2.5-coder-7b || HAL:8012

Synchronisation des pages wiki éditées vers la base RAG

automatisme wiki_sync (notifie par mail à chaque synchronisation) || — || srv18

Test/dépannage d'un pipe RAG alternatif (fonction

pcwiki_srv18) — usage ponctuel de diagnostic, pas l'assistant utilisé au quotidien || Open WebUI HAL (port 3000, instance secondaire), modèle/fonction « PCStreet Wiki (RAG srv18 + gpt-oss-120b) » || appelle directement l'API de récupération de srv18 puis génère sur gpt-oss-120b || récupération sur srv18, génération sur HAL:8090

Détail par composant

HAL — llama-server (trois instances indépendantes)

Port Modèle Fichier Particularités
8090 gpt-oss-120b gpt-oss-120b-MXFP4.gguf

MoE 128 experts (top-4 actifs), 36 couches, contexte natif 131072 tokens (YaRN ×32 depuis une base entraînée à 4096 — c'est la limite publiée par OpenAI, non extensible sans dégradation). Lancé avec -c 0 (= contexte natif du modèle), -ngl 999 (tout sur GPU). Service systemd llama-server.service.

8091 bge-reranker-v2-m3 bge-reranker-v2-m3-FP16.gguf Mode --reranking. Reclasse les candidats retournés par

la recherche hybride de srv18 avant de les présenter au LLM. Service llama-reranker.service (enabled, actif) — voir Évolutions du 11/09/2026 pour l'historique du jour (désactivé puis réactivé).

8012 qwen2.5-coder-7b qwen2.5-coder-7b-q8_0.gguf

Lié à 192.168.1.111:8012 uniquement (pas 0.0.0.0). Usage autocomplétion/FIM, indépendant du reste de la chaîne. Doit rester sur HAL : le poste de développement debian-dvt (qui consomme ce service) n'a pas accès réseau à srv18 — voir Pièges.

Mise à jour 11/09/2026 : carve-out BIOS repassé de 32 Go à 96 Go de VRAM dédiée (reboot effectué, confirmé mesuré : cat /sys/class/drm/card0/device/mem_info_vram_total = 103079215104 = 96 Gio exact ; dmesg : amdgpu ...: 98304M of VRAM memory ready). Conséquence : RAM système restante ~31 Go (free -h), GTT capé par le pilote à ~31,9 Go (Capping GTT to 31875M to not exceed available system memory) au lieu des 101 Go GTT disponibles avec l'ancien réglage à 32 Go de VRAM.

Important : cette VRAM est un carve-out fixe, annoncé une seule fois au démarrage par le pilote — ce n'est pas un pool qui grandit dynamiquement à l'exécution sous Linux, quel que soit le réglage BIOS (« fixe » ou « auto »). Une valeur BIOS différente ne prend effet qu'après un redémarrage, et seulement si elle est effectivement enregistrée/prise en compte par le firmware — à revérifier en BIOS si la valeur mesurée ne correspond pas à ce qui a été configuré. C'est exactement ce qui s'est passé ici : le passage à 96 Go nécessitait bien un reboot pour être pris en compte.

Avec gpt-oss-120b et le reranker tous deux actifs sur le GPU, la marge VRAM (96 Go) reste large ; le débordement vers la GTT reste le mécanisme qui permettait de toute façon aux poids MXFP4 (≈ 64 Go) de tenir même avec l'ancien carve-out plus petit.

srv18 — Open WebUI (l'instance réellement utilisée)

  • Installation : /root/IA/open-webui.debian12
  • Service : open-webui.service, port 8081
  • Base de données réelle : contrairement à ce qu'indique
 OPEN_WEBUI_DATA_DIR dans le service systemd (qui pointe
 vers un fichier vide, jamais utilisé par cette version), la base
 effectivement ouverte par le processus est
 venv/lib/python3.12/site-packages/open_webui/data/webui.db
 — à vérifier via lsof -p <pid> en cas de doute,
 pas via les variables d'environnement déclarées.
  • RAG natif (config globale, admin Open WebUI → Documents) :
    • Embeddings : bge-m3:latest via Ollama local
  (srv18:11434)
  (HAL, GPU), résultat final : top_k_reranker = 6
    • (valeurs relevées/ajustées le 10/09/2026 ; défauts d'origine :
  top_k=5, top_k_reranker=5 — remontés après un problème de rappel
  sur des requêtes courtes/ambiguës, cf. Pièges)
  • Modèle « IA PC (gpt-oss-120b) » (id pcstreet-assistant) :
 system prompt = assistant dev (C++/Bash/SQL/Debian, mêmes règles que
 le profil global pcClaude) + base de connaissance « Wiki PCStreet »
 attachée en permanence. temperature=0,
 repeat_penalty=1.3 (élevé — à surveiller sur du code
 long, risque de répétitions légitimes évitées à tort),
 think=false (raisonnement désactivé via /no_think).

HAL — Open WebUI (instance secondaire, à ne pas confondre)

  • Installation : /data/ai/open-webui, service
 open-webui.service, port 3000
  • Contient la fonction/pipe pcwiki_srv18 (« PCStreet Wiki
 (RAG srv18 + gpt-oss-120b) ») : appelle directement l'API de
 récupération de srv18 (/api/v1/retrieval/query/collection,
 collection b0d9c9f6-f38b-45af-878a-383c80d34566) puis
 génère sur gpt-oss-120b local. Valves réglables : TOP_K,
 MAX_CONTEXT_CHARS, TEMPERATURE,
 HYBRID.
  • Cette instance n'est pas celle utilisée au quotidien — elle a
 servi de banc de test / diagnostic. Modifier ses valves n'a
 strictement aucun effet sur « IA PC », qui tourne entièrement côté
 srv18 avec sa propre configuration RAG (voir ci-dessus).

Base de connaissance « Wiki PCStreet »

  • Collection id : b0d9c9f6-f38b-45af-878a-383c80d34566,
 hébergée sur srv18, référencée à la fois par le modèle natif « IA PC »
 et par la fonction pipe pcwiki_srv18 sur HAL (même
 collection, deux points d'accès différents).
  • Alimentée par wiki_sync : script
 /root/IA/wiki-sync/wiki_sync.py sur srv18, lancé via
 /root/IA/wiki-sync/run_sync.sh par une tâche
 cron root, toutes les 7 minutes
 (*/7 * * * * ... >> /root/IA/wiki-sync/cron.log 2>&1) —
 simple sondage périodique des pages modifiées, pas un webhook
 déclenché par MediaWiki. Envoie un mail récapitulatif à chaque
 exécution ayant détecté des changements.

Évolutions du 11/09/2026

  • VRAM HAL passée de 32 à 96 Go (carve-out BIOS, reboot requis
 et effectué) — voir section VRAM ci-dessus pour le détail mesuré.
  • Reranker — plusieurs allers-retours CPU/GPU dans la journée,
 finalement stabilisé sur GPU HAL :
    1. Repli d'urgence en CrossEncoder CPU srv18 pendant le reboot BIOS
  (llama-reranker.service indisponible le temps du
  redémarrage).
    1. Décision (provisoire) de garder le CPU de façon définitive après le
  reboot, llama-reranker.service arrêté et désactivé sur
  HAL.
    1. Rejeu du jeu de 17 requêtes de test : quasi aucune différence de
  pertinence entre GPU et CPU (voir /root/rag-eval-queries.md,
  section "Rejeu complet après bascule reranker").
    1. Mais en usage réel (Open WebUI Windows, puis test direct sur
  srv18), latence jugée trop lente : mesurée à 12-24 s par requête
  retrieval avec le reranker CPU, contre 1,6-1,9 s avec le GPU HAL.
  Cause aggravante identifiée : srv18 était sous forte charge au
  moment du test (sauvegarde bzip2 ~98% CPU, MariaDB
  ~78%, VM KVM debian-dvt ~160% CPU) — avec le reranker
  CPU, la latence du RAG dépend directement de la charge ponctuelle
  de srv18, ce qui n'était pas le cas avec le reranker isolé sur HAL.
    1. Décision finale : retour définitif au reranker GPU sur HAL.
  llama-reranker.service réactivé (systemctl
  enable --now) ; côté srv18, RAG_RERANKING_ENGINE
  remis à external (POST
  /api/v1/retrieval/config/update, 500 attendue, vérifié par
  GET — bug connu, cf. Pièges). Latence revérifiée après bascule :
  1,6-1,9 s, conforme au profil GPU attendu.

Pièges rencontrés (10/09/2026)

  • Deux instances Open WebUI distinctes (HAL:3000 et srv18:8081),
 visuellement similaires. Confondre les deux a fait perdre un temps
 considérable en diagnostic (réglages appliqués sur la mauvaise
 instance). Toujours vérifier l'URL exacte utilisée avant de
 diagnostiquer un problème RAG.
  • OPEN_WEBUI_DATA_DIR trompeur sur srv18 : la
 variable déclarée dans le service systemd ne correspond pas à la
 base réellement utilisée par cette version d'Open WebUI. Se fier à
 lsof -p <pid du process open-webui> plutôt qu'aux
 fichiers de config pour trouver la vraie base.
  • Colonnes datetime de la table config : stockées en
 texte ISO ("2026-04-19 08:08:08"), pas en timestamp
 Unix — contrairement à la plupart des autres tables d'Open WebUI
 (chat, function...) qui utilisent bien des
 entiers. Un UPDATE SQL direct avec
 strftime('%s','now') sur config.updated_at
 a provoqué un crash en boucle du service (erreur
 fromisoformat: argument must be str). Toujours vérifier
 le type réel de la colonne (typeof(...) en SQLite) avant
 une écriture directe en base, surtout sur une table de config
 chargée en mémoire au démarrage.
  • « Philip » vs « Philips » : un mot-clé court et ambigu (nom de
 personne vs marque commerciale) peut être totalement absent des
 candidats retournés, même sur une requête aussi simple que le mot
 seul. Ni top_k/top_k_reranker, ni le
 poids hybrid_bm25_weight, ni le choix du modèle
 d'embedding ne se sont montrés efficaces pour corriger ça de façon
 fiable (tous testés, sans effet mesurable — voir historique de
 discussion). Cause la plus probable : l'embedding d'un chunk reflète
 le sens global du texte, pas la présence exacte d'un mot ; un nom
 cité une seule fois au milieu d'un texte technique dense (specs,
 négociation, réglages...) pèse peu dans le vecteur du chunk.
  • Remède qui fonctionne réellement : la ligne KEYWORDS: ...
 en tête de chaque fiche du wiki. Concentrer les entités/noms
 propres importants (personnes, pseudos, références produit) dans
 cette ligne leur donne un poids disproportionné dans l'embedding du
 premier chunk (toujours indexé en premier, quelle que soit la
 longueur du document), et sert aussi d'ancrage lexical direct pour
 BM25. Réflexe à avoir en rédigeant une fiche : y inclure tout
 nom propre qui pourrait faire l'objet d'une recherche directe (ex.
 KEYWORDS: Philip, living33, DSP20, DSP40, pompe piscine).
 Ne corrige pas tout à coup sûr, mais c'est le levier le plus direct
 trouvé à ce jour, et sans risque (simple édition de contenu, pas de
 config).
  • Syntaxe X::Y collée sans espaces dans un texte
 source peut fusionner en un seul token pour la recherche lexicale
 (BM25/hybride), empêchant un mot comme « Philip » seul de matcher
 « Philip::living33 ». Préférer X :: Y (avec espaces)
 dans le contenu du wiki si la recherche par mot isolé doit rester
 fiable.
  • Le flux RAG natif d'un modèle avec « knowledge » attachée
 (ex. pcstreet-assistant / « IA PC ») ignore
 apparemment rag.top_k de la config admin : passer de
 20 à 50 n'a changé ni le nombre de chunks reçus (19 dans les deux
 cas) ni le résultat. L'appel explicite à
 /api/v1/retrieval/query/collection avec un k
 passé en paramètre (ex. la fonction pcwiki_srv18 sur
 HAL), lui, respecte bien le k demandé. Piste non
 résolue : soit un chemin de code différent avec son propre plafond
 (~19, cause non identifiée), soit un autre réglage non trouvé dans
 config.rag. À creuser dans le code source d'Open WebUI
 si le problème persiste malgré le remède KEYWORDS
 ci-dessus.
  • Contexte de 131072 tokens (gpt-oss-120b) : c'est la limite
 native publiée par OpenAI (YaRN ×32 depuis une base entraînée à
 4096), pas un réglage pcClaude/llama-server modifiable sans
 dégradation de qualité. Aucune variante à contexte plus grand
 n'existe à ce jour (vérifié — voir historique de discussion).
  • Le FIM (qwen2.5-coder-7b, HAL:8012) ne doit pas être déplacé sur
 srv18, même si ça semblait intéressant à première vue (VRAM de
 HAL soulagée, pas de contention avec gpt-oss-120b) : le poste de
 développement debian-dvt, seul consommateur de ce
 service, n'a pas d'accès réseau à srv18 — seulement à HAL. Un
 déplacement aurait cassé l'autocomplétion, pas juste ajouté de la
 latence. Toujours vérifier qui consomme réellement un service et
 d'où, avant de proposer de le déplacer pour des raisons de charge ou
 de VRAM.