Info::IA:::Rag cheminement des IA, LLM et hosts
KEYWORDS: IA, RAG, CHEMINEMENT
Le 11/09/2026:
- Claude a terminé la réponse.
- A réfléchi pendant 19 s
Chaîne IA & RAG PCStreet
Date : 10/09/2026
Rôle de cette page : vue d'ensemble de toute la chaîne IA utilisée pour le développement (pcClaude, IDE) et pour le RAG sur le wiki interne PCStreet — quel composant tourne où, sur quelle machine, et pour quel usage. Rédigée après une session de dépannage ayant révélé plusieurs confusions entre composants qui se ressemblent ; les pièges rencontrés sont documentés en fin de page pour ne pas les reproduire.
Ne pas confondre avec pcClaude.wiki, qui documente
uniquement le programme pcClaude (lanceur de session Claude
Code locale). Cette page couvre toute la chaîne, y compris ce qui ne
dépend pas de pcClaude.
Logique texte → RAG
Étapes du pipeline, du texte source jusqu'à la réponse finale :
- Découpage (chunking) : le texte source (pages du wiki, PDF,
etc.) est segmenté en morceaux de taille raisonnable (quelques centaines de tokens) — un LLM ne peut pas indexer un document entier comme un bloc unique.
- Embedding (vectorisation) : chaque chunk est transformé par un
modèle dédié en un vecteur numérique (souvent 384 à 1536 dimensions) qui capture son sens sémantique — deux textes proches en signification produisent des vecteurs proches dans cet espace, même sans mots en commun. Sur cette chaîne : bge-m3 via Ollama (srv18:11434).
- Indexation : ces vecteurs sont stockés dans une base vectorielle
(FAISS, Qdrant, pgvector...) permettant une recherche par similarité rapide.
- Requête : la question de l'utilisateur est vectorisée avec le
même modèle d'embedding, pour être comparable aux chunks indexés.
- Retrieval (récupération) : recherche des N chunks dont le
vecteur est le plus proche de celui de la question (similarité cosinus généralement) — rapide, mais pas toujours précise sur la pertinence fine.
- Reranking (réordonnancement) : un second modèle, plus lent mais
plus précis, réexamine ces N candidats un par un face à la question exacte, et les réordonne par pertinence réelle — un filtre de qualité après la recherche rapide mais grossière du vecteur. Sur cette chaîne : bge-reranker-v2-m3 sur HAL (port 8091, GPU Vulkan/RADV) — voir Évolutions du 11/09/2026 pour l'historique des allers-retours CPU/GPU ce jour-là.
- Génération : les meilleurs chunks (post-reranking) sont
injectés dans le prompt du LLM, qui rédige la réponse finale en s'appuyant dessus. Sur cette chaîne : gpt-oss-120b sur HAL (port 8090).
Traductions : embedding = plongement / vectorisation ; reranker = réordonnanceur / module de réordonnancement.
Résumé rapide
| Composant | Où | Détail |
|---|---|---|
| pcwiki (contenu source, MediaWiki PCStreet) | srv18 |
édité manuellement, source de vérité du contenu |
| wiki_sync (synchronisation pcwiki → RAG) | srv18 |
automatisme Python, notifie par mail à chaque exécution |
| Open WebUI — usage quotidien (« IA PC (gpt-oss-120b) ») |
srv18, port 8081 || interface utilisée au quotidien | |
| Open WebUI — instance secondaire/test | HAL, port 3000 |
banc de diagnostic, pas l'usage quotidien |
| LLM de génération (gpt-oss-120b) | HAL, port 8090
( | |
| Embeddings (bge-m3) | srv18, port 11434 (Ollama) |
vectorise les questions et les documents du wiki |
| Reranker (bge-reranker-v2-m3) | HAL, port 8091
( | |
| Autocomplétion code (qwen2.5-coder-7b, FIM) | HAL, port 8012
( | |
| pcClaude (lanceur de session de développement) | HAL,
terminal || voir ci-dessous : peut piloter soit Claude, soit un LLM local |
pcClaude peut piloter deux backends différents derrière la même
commande claude :
- Sans pcClaude :
claudelancé directement se
connecte à l'API Anthropic réelle, dans le cloud — les vrais modèles Claude (Sonnet, Opus...), avec la facturation et le compte Anthropic habituels.
- Avec pcClaude : le même binaire
claudeest lancé
en sous-processus par pcClaude, qui redéfinit au préalableANTHROPIC_BASE_URLetANTHROPIC_AUTH_TOKENpour rediriger tout le trafic versllama-serversur HAL (port 8090, gpt-oss-120b) au lieu de l'API Anthropic — un jeton factice suffit carllama-serverne vérifie pas l'authentification. C'est ce mode que surveillent le marquage visuel (bannière, inversion de couleurs) et la barre de statut de contexte décrits danspcClaude.wiki, justement pour ne jamais confondre une session locale (gratuite, gpt-oss-120b) avec une session cloud (payante, vrais modèles Claude).
Machines impliquées
| Machine | IP | Rôle général |
|---|---|---|
| HAL | 192.168.1.111 | Machine de calcul (APU Strix Halo,
gfx1151, 128 Go RAM unifiée, 96 Go VRAM dédiée (carve-out BIOS,
depuis le 11/09/2026 — auparavant 32 Go) + ~32 Go GTT, ~31 Go RAM
système restants, 32 threads). Héberge les LLM de génération, de FIM
et le reranker via |
| srv18 | 192.168.1.18 | Serveur applicatif. Héberge l'Open WebUI
utilisé au quotidien, Ollama (embeddings), MariaDB/PostgreSQL (autres
projets, sans rapport avec la chaîne IA), et l'automatisme
|
Schéma du cheminement
┌─────────────────────────────┐
│ MediaWiki PCStreet (pcWiki) │
└───────────────┬───────────────┘
│ édition de page
▼
┌─────────────────────────────┐
│ wiki_sync (automatisme Python,│
│ srv18) — notifie par mail │
└───────────────┬───────────────┘
│ push API
▼
srv18 : Open WebUI (port 8081) — knowledge "Wiki PCStreet"
(id b0d9c9f6-...), embeddings bge-m3 via Ollama (srv18:11434)
│ ▲
│ question utilisateur │ reranking
│ (modèle "IA PC (gpt-oss-120b)") │
▼ │
┌─────────────────────────┐ ┌───────────────────────────┐
│ HAL:8090 llama-server │ │ HAL:8091 llama-server │
│ gpt-oss-120b (génération)│ │ bge-reranker-v2-m3 (rerank) │
└─────────────────────────┘ └───────────────────────────┘
Chemin séparé, pour le développement (pas de RAG) :
pcClaude (terminal, HAL) ──► HAL:8090 llama-server (gpt-oss-120b)
Chemin séparé, pour l'autocomplétion code (IDE) :
éditeur/IDE ──► HAL:8012 llama-server (qwen2.5-coder-7b, FIM)
Quelle IA pour quelle fonction
| Besoin | Interface | Modèle / service | Où tourne le calcul |
|---|---|---|---|
| Session Claude Code locale (dev C++/Bash/SQL avec pcClaude) |
terminal, commande | ||
| Chat quotidien + questions sur le wiki PCStreet + aide au
développement || Open WebUI srv18 (port 8081), modèle
« IA PC (gpt-oss-120b) » (alias interne |
génération : gpt-oss-120b · récupération : embeddings bge-m3 +
reranker bge-reranker-v2-m3 || génération sur HAL:8090, embeddings sur srv18 (Ollama :11434), reranking sur HAL:8091 | ||
| Autocomplétion de code (fill-in-middle) dans l'éditeur/IDE |
intégration IDE (ex. Continue.dev) || qwen2.5-coder-7b || HAL:8012 | ||
| Synchronisation des pages wiki éditées vers la base RAG |
automatisme | ||
| Test/dépannage d'un pipe RAG alternatif (fonction
|
Détail par composant
HAL — llama-server (trois instances indépendantes)
| Port | Modèle | Fichier | Particularités |
|---|---|---|---|
| 8090 | gpt-oss-120b | gpt-oss-120b-MXFP4.gguf |
MoE 128 experts (top-4 actifs), 36 couches, contexte natif 131072
tokens (YaRN ×32 depuis une base entraînée à 4096 — c'est la limite
publiée par OpenAI, non extensible sans dégradation). Lancé avec
|
| 8091 | bge-reranker-v2-m3 | bge-reranker-v2-m3-FP16.gguf
|
Mode --reranking. Reclasse les candidats retournés par
la recherche hybride de srv18 avant de les présenter au LLM. Service
|
| 8012 | qwen2.5-coder-7b | qwen2.5-coder-7b-q8_0.gguf |
Lié à |
Mise à jour 11/09/2026 : carve-out BIOS repassé de 32 Go à
96 Go de VRAM dédiée (reboot effectué, confirmé mesuré :
cat /sys/class/drm/card0/device/mem_info_vram_total =
103079215104 = 96 Gio exact ; dmesg :
amdgpu ...: 98304M of VRAM memory ready). Conséquence :
RAM système restante ~31 Go (free -h), GTT capé par le
pilote à ~31,9 Go (Capping GTT to 31875M to not exceed available
system memory) au lieu des 101 Go GTT disponibles avec l'ancien
réglage à 32 Go de VRAM.
Important : cette VRAM est un carve-out fixe, annoncé une seule fois au démarrage par le pilote — ce n'est pas un pool qui grandit dynamiquement à l'exécution sous Linux, quel que soit le réglage BIOS (« fixe » ou « auto »). Une valeur BIOS différente ne prend effet qu'après un redémarrage, et seulement si elle est effectivement enregistrée/prise en compte par le firmware — à revérifier en BIOS si la valeur mesurée ne correspond pas à ce qui a été configuré. C'est exactement ce qui s'est passé ici : le passage à 96 Go nécessitait bien un reboot pour être pris en compte.
Avec gpt-oss-120b et le reranker tous deux actifs sur le GPU, la marge VRAM (96 Go) reste large ; le débordement vers la GTT reste le mécanisme qui permettait de toute façon aux poids MXFP4 (≈ 64 Go) de tenir même avec l'ancien carve-out plus petit.
srv18 — Open WebUI (l'instance réellement utilisée)
- Installation :
/root/IA/open-webui.debian12 - Service :
open-webui.service, port 8081 - Base de données réelle : contrairement à ce qu'indique
OPEN_WEBUI_DATA_DIRdans le service systemd (qui pointe vers un fichier vide, jamais utilisé par cette version), la base effectivement ouverte par le processus estvenv/lib/python3.12/site-packages/open_webui/data/webui.db— à vérifier vialsof -p <pid>en cas de doute, pas via les variables d'environnement déclarées.
- RAG natif (config globale, admin Open WebUI → Documents) :
- Embeddings :
bge-m3:latestvia Ollama local
- Embeddings :
(srv18:11434)
- Recherche hybride activée (vecteur + BM25, poids BM25 = 0,5)
- Récupération initiale :
top_k = 20 - Reranking externe sur
http://192.168.1.111:8091/rerank
(HAL, GPU), résultat final : top_k_reranker = 6
- (valeurs relevées/ajustées le 10/09/2026 ; défauts d'origine :
top_k=5, top_k_reranker=5 — remontés après un problème de rappel sur des requêtes courtes/ambiguës, cf. Pièges)
- Modèle « IA PC (gpt-oss-120b) » (id
pcstreet-assistant) :
system prompt = assistant dev (C++/Bash/SQL/Debian, mêmes règles que le profil global pcClaude) + base de connaissance « Wiki PCStreet » attachée en permanence.temperature=0,repeat_penalty=1.3(élevé — à surveiller sur du code long, risque de répétitions légitimes évitées à tort),think=false(raisonnement désactivé via/no_think).
HAL — Open WebUI (instance secondaire, à ne pas confondre)
- Installation :
/data/ai/open-webui, service
open-webui.service, port 3000
- Contient la fonction/pipe
pcwiki_srv18(« PCStreet Wiki
(RAG srv18 + gpt-oss-120b) ») : appelle directement l'API de récupération de srv18 (/api/v1/retrieval/query/collection, collectionb0d9c9f6-f38b-45af-878a-383c80d34566) puis génère sur gpt-oss-120b local. Valves réglables :TOP_K,MAX_CONTEXT_CHARS,TEMPERATURE,HYBRID.
- Cette instance n'est pas celle utilisée au quotidien — elle a
servi de banc de test / diagnostic. Modifier ses valves n'a strictement aucun effet sur « IA PC », qui tourne entièrement côté srv18 avec sa propre configuration RAG (voir ci-dessus).
Base de connaissance « Wiki PCStreet »
- Collection id :
b0d9c9f6-f38b-45af-878a-383c80d34566,
hébergée sur srv18, référencée à la fois par le modèle natif « IA PC »
et par la fonction pipe pcwiki_srv18 sur HAL (même
collection, deux points d'accès différents).
- Alimentée par
wiki_sync: script
/root/IA/wiki-sync/wiki_sync.pysur srv18, lancé via/root/IA/wiki-sync/run_sync.shpar une tâchecronroot, toutes les 7 minutes (*/7 * * * * ... >> /root/IA/wiki-sync/cron.log 2>&1) — simple sondage périodique des pages modifiées, pas un webhook déclenché par MediaWiki. Envoie un mail récapitulatif à chaque exécution ayant détecté des changements.
Évolutions du 11/09/2026
- VRAM HAL passée de 32 à 96 Go (carve-out BIOS, reboot requis
et effectué) — voir section VRAM ci-dessus pour le détail mesuré.
- Reranker — plusieurs allers-retours CPU/GPU dans la journée,
finalement stabilisé sur GPU HAL :
- Repli d'urgence en CrossEncoder CPU srv18 pendant le reboot BIOS
(llama-reranker.service indisponible le temps du
redémarrage).
- Décision (provisoire) de garder le CPU de façon définitive après le
reboot, llama-reranker.service arrêté et désactivé sur
HAL.
- Rejeu du jeu de 17 requêtes de test : quasi aucune différence de
pertinence entre GPU et CPU (voir /root/rag-eval-queries.md,
section "Rejeu complet après bascule reranker").
- Mais en usage réel (Open WebUI Windows, puis test direct sur
srv18), latence jugée trop lente : mesurée à 12-24 s par requête retrieval avec le reranker CPU, contre 1,6-1,9 s avec le GPU HAL. Cause aggravante identifiée : srv18 était sous forte charge au moment du test (sauvegardebzip2~98% CPU, MariaDB ~78%, VM KVMdebian-dvt~160% CPU) — avec le reranker CPU, la latence du RAG dépend directement de la charge ponctuelle de srv18, ce qui n'était pas le cas avec le reranker isolé sur HAL.
- Décision finale : retour définitif au reranker GPU sur HAL.
llama-reranker.serviceréactivé (systemctl enable --now) ; côté srv18,RAG_RERANKING_ENGINEremis àexternal(POST /api/v1/retrieval/config/update, 500 attendue, vérifié par GET — bug connu, cf. Pièges). Latence revérifiée après bascule : 1,6-1,9 s, conforme au profil GPU attendu.
Pièges rencontrés (10/09/2026)
- Deux instances Open WebUI distinctes (HAL:3000 et srv18:8081),
visuellement similaires. Confondre les deux a fait perdre un temps considérable en diagnostic (réglages appliqués sur la mauvaise instance). Toujours vérifier l'URL exacte utilisée avant de diagnostiquer un problème RAG.
OPEN_WEBUI_DATA_DIRtrompeur sur srv18 : la
variable déclarée dans le service systemd ne correspond pas à la
base réellement utilisée par cette version d'Open WebUI. Se fier à
lsof -p <pid du process open-webui> plutôt qu'aux
fichiers de config pour trouver la vraie base.
- Colonnes datetime de la table
config: stockées en
texte ISO ("2026-04-19 08:08:08"), pas en timestamp Unix — contrairement à la plupart des autres tables d'Open WebUI (chat,function...) qui utilisent bien des entiers. UnUPDATESQL direct avecstrftime('%s','now')surconfig.updated_ata provoqué un crash en boucle du service (erreurfromisoformat: argument must be str). Toujours vérifier le type réel de la colonne (typeof(...)en SQLite) avant une écriture directe en base, surtout sur une table de config chargée en mémoire au démarrage.
- « Philip » vs « Philips » : un mot-clé court et ambigu (nom de
personne vs marque commerciale) peut être totalement absent des candidats retournés, même sur une requête aussi simple que le mot seul. Nitop_k/top_k_reranker, ni le poidshybrid_bm25_weight, ni le choix du modèle d'embedding ne se sont montrés efficaces pour corriger ça de façon fiable (tous testés, sans effet mesurable — voir historique de discussion). Cause la plus probable : l'embedding d'un chunk reflète le sens global du texte, pas la présence exacte d'un mot ; un nom cité une seule fois au milieu d'un texte technique dense (specs, négociation, réglages...) pèse peu dans le vecteur du chunk.
- Remède qui fonctionne réellement : la ligne
KEYWORDS: ...
en tête de chaque fiche du wiki. Concentrer les entités/noms
propres importants (personnes, pseudos, références produit) dans
cette ligne leur donne un poids disproportionné dans l'embedding du
premier chunk (toujours indexé en premier, quelle que soit la
longueur du document), et sert aussi d'ancrage lexical direct pour
BM25. Réflexe à avoir en rédigeant une fiche : y inclure tout
nom propre qui pourrait faire l'objet d'une recherche directe (ex.
KEYWORDS: Philip, living33, DSP20, DSP40, pompe piscine).
Ne corrige pas tout à coup sûr, mais c'est le levier le plus direct
trouvé à ce jour, et sans risque (simple édition de contenu, pas de
config).
- Syntaxe
X::Ycollée sans espaces dans un texte
source peut fusionner en un seul token pour la recherche lexicale
(BM25/hybride), empêchant un mot comme « Philip » seul de matcher
« Philip::living33 ». Préférer X :: Y (avec espaces)
dans le contenu du wiki si la recherche par mot isolé doit rester
fiable.
- Le flux RAG natif d'un modèle avec « knowledge » attachée
(ex.pcstreet-assistant/ « IA PC ») ignore apparemmentrag.top_kde la config admin : passer de 20 à 50 n'a changé ni le nombre de chunks reçus (19 dans les deux cas) ni le résultat. L'appel explicite à/api/v1/retrieval/query/collectionavec unkpassé en paramètre (ex. la fonctionpcwiki_srv18sur HAL), lui, respecte bien lekdemandé. Piste non résolue : soit un chemin de code différent avec son propre plafond (~19, cause non identifiée), soit un autre réglage non trouvé dansconfig.rag. À creuser dans le code source d'Open WebUI si le problème persiste malgré le remèdeKEYWORDSci-dessus.
- Contexte de 131072 tokens (gpt-oss-120b) : c'est la limite
native publiée par OpenAI (YaRN ×32 depuis une base entraînée à 4096), pas un réglage pcClaude/llama-server modifiable sans dégradation de qualité. Aucune variante à contexte plus grand n'existe à ce jour (vérifié — voir historique de discussion).
- Le FIM (qwen2.5-coder-7b, HAL:8012) ne doit pas être déplacé sur
srv18, même si ça semblait intéressant à première vue (VRAM de
HAL soulagée, pas de contention avec gpt-oss-120b) : le poste de
développement debian-dvt, seul consommateur de ce
service, n'a pas d'accès réseau à srv18 — seulement à HAL. Un
déplacement aurait cassé l'autocomplétion, pas juste ajouté de la
latence. Toujours vérifier qui consomme réellement un service et
d'où, avant de proposer de le déplacer pour des raisons de charge ou
de VRAM.