Info:RAG: refonte du RAG le 17/08/2026 (plus rapide)

De wiki_pcwiki2
Aller à la navigationAller à la recherche

KEYWORDS: RAG, OPEN-WEBUI

INFO::RAG: utilisation prévue d'un 128 ou 192 Go (analyse by Gemini]]
INFO::RAG: répartition de plusieurs agents LLM dans 128 Go
INFO::RAG: meilleure équipe d'agent pour bon RAG et bonne programmation C++/Pyton
A la suite de ces réglages du 17 Août 2026, le RAG est devenu beaucoup plus rapide:

On est passé d'un temps de réponse moyen de 132 secondes à 30 secondes (4x)
Ce qui explique ce gain:

1. think:false : -20 à -30s par réponse (suppression de la phase de réflexion)

2. Suppression de l'appel de reformulation : -12 à -45s selon la variante testée

3. KV cache q8_0 : garantit 41/41 couches GPU au lieu de fallbacks CPU partiels (39-40/41), gain plus difficile à isoler seul mais contribue à la régularité

4. repeat_penalty : pas un gain de vitesse en soi, mais évite les boucles infinies qui auraient fait exploser le temps de réponse à l'infini
Le 17/08/2026:
Il existe un script qui devrait paramétrer correctement mon RAG: 
srv18::/root/bin/configure_rag.sh

NB: Grafana: srv18:3000 (admin/fro...ce  ou pchevalier@pcstreet.fr/fro...ce)

Réglages RAG / open-webui

Le fichier original est ici: srv18::/root/bin/openwebui_rag_reglages.wiki

Synthèse des réglages appliqués sur le RAG local (ollama + open-webui) de srv18, suite à une session de diagnostic et d'optimisation. Utilisé par le modèle pcstreet-assistant (base qwen3:14b).

Sécurité réseau

  • ollama, open-webui et grafana écoutent uniquement sur 192.168.1.18 (jamais 0.0.0.0)
  • grafana.service (install manuelle dans /opt/grafana) est le service réellement actif — pas grafana-server.service (paquet Debian, inactif)
  • /root/bin/check_listeners.sh tourne toutes les 5 min via cron, coupe les 3 services si l'un fuit hors de 192.168.1.18/127.0.0.1
  • openai.enable = false : l'intégration OpenRouter (modèles cloud : Claude, GPT, DeepSeek...) est désactivée. Seuls les modèles ollama locaux sont utilisables — aucune requête ne sort du réseau local, quel que soit le modèle sélectionné dans l'interface.

Vitesse de réponse

Réglage Valeur Effet mesuré
model.params.think (sur pcstreet-assistant) false Supprime la phase de "réflexion" de qwen3 (16-29s+ économisées par réponse). Le /no_think dans le prompt système ne suffisait pas, il fallait le paramètre natif ollama.
task.query.retrieval.enable false La recherche documentaire utilise la question brute, sans reformulation IA préalable. Plus rapide et plus fiable (voir ci-dessous).
OLLAMA_KV_CACHE_TYPE (env ollama.service) q8_0 KV cache divisé par ~2 (640→340 Mio pour qwen3:14b), garantit un chargement 41/41 couches sur GPU (plus de fallback CPU partiel observé avant ce réglage).

Résultat global : un tour RAG complet est passé d'environ 2min12s à ~45s-1min20s selon la longueur de la réponse.

Fiabilité de la recherche (retrieval)

Point important, non résolu complètement : la reformulation IA de la requête RAG (task.query.retrieval.enable = true) s'est révélée non fiable sur ce corpus. Test : la même question posée 4 fois de suite ("parle moi de mon groupe electrogene") a donné 4 résultats de recherche différents — correct, correct, mauvais sujet (motopompe), échec total ("aucune information trouvée"). Fixer temperature=0 sur le modèle de reformulation (qwen3:8b-task, créé pour l'occasion) n'a pas suffi à stabiliser.

Cause probable : non-déterminisme de l'inférence GPU en mode greedy (connu, lié à l'arithmétique flottante parallèle), combiné au fait que les documents "Groupe electrogène.txt" et "Motopompe..." se mentionnent mutuellement dans le corpus (même système anti-incendie DSP40).

Décision retenue : recherche directe sur la question brute (reformulation désactivée). Plus fiable dans tous les tests menés, et plus rapide.

Pistes non testées pour une prochaine session :

  • Fixer un seed fixe en plus de temperature=0 sur le modèle de reformulation
  • Augmenter top_k (actuellement 5) pour élargir le filet de récupération
  • Réétiqueter/séparer plus clairement les documents "groupe électrogène" et "motopompe" dans la base de connaissances

Stabilité des réponses (boucles infinies)

Problème rencontré (18/08/2026) : certaines réponses partaient en répétition infinie du même paragraphe (ex. "purger un radiateur" répété ~15 fois), avec parfois une fuite du tag </think> en plein milieu du texte visible.

Cause : le Modelfile de base qwen3:14b définit repeat_penalty 1 (= désactivée) et temperature 0.6. Mais pcstreet-assistant force temperature=0 (décodage greedy pur) sans régler repeat_penalty. En greedy pur sans pénalité de répétition, rien n'empêche le modèle de reboucler indéfiniment sur la même séquence dès qu'il commence à répéter — ce qui arrive plus facilement sur un modèle quantisé Q4 avec un long contexte RAG.

Fix : model.params.repeat_penalty = 1.3 ajouté sur pcstreet-assistant (temperature=0 conservé, pas d'impact sur la précision recherchée pour le code). Testé : réponse longue et complexe (radiateur) redonnée intégralement sans boucle après le fix.

Point d'attention distinct, non réglable par config : le RAG peut halluciner avec assurance sur du contenu ambigu/sensible (ex. : une lettre personnelle mal réattribuée comme "critique d'un voisin"). Toujours vérifier les affirmations sur des personnes avant de les prendre pour argent comptant, surtout si le modèle ne peut pas fournir d'URL source précise.

Modèles ollama créés

  • qwen3:8b-task : dérivé de qwen3:8b avec PARAMETER temperature 0, prévu comme modèle de tâche léger (reformulation RAG). Actuellement inutilisé puisque la reformulation est désactivée, mais prêt à resservir si réactivée un jour.

Monitoring (Grafana / Prometheus)

Ajout d'une visibilité temps réel sur l'infra IA, absente auparavant (Grafana ne surveillait que pcNrgy5) :

Composant Port Rôle
nvidia_gpu_exporter (service systemd) 127.0.0.1:9835 Métriques GPU (utilisation, VRAM, température, conso) via nvidia-smi
/root/bin/ollama_exporter.py (service ollama_exporter) 127.0.0.1:9836 Parse les logs ollama en direct (durée par requête, chargements modèle, % couches GPU offloadées) — ollama n'a pas de /metrics natif

Deux nouveaux dashboards Grafana : GPU - RTX 3060 (ollama) et Ollama - Performance (latence p50/p95, requêtes/min, durée de chargement modèle).

Alerte configurée : email à pchevalier@pcstreet.fr si température GPU {'>'} 85°C pendant 2 min (Grafana connecté au même relais SMTP que mail, mail.deltasight.fr).

Piège de provisioning résolu : le dossier réellement lu par Grafana pour le provisioning par fichier est /opt/grafana/conf/provisioning/ (configuré dans defaults.ini), pas /opt/grafana/provisioning/ où vivait déjà (sans effet) le dashboard pcNrgy5. Provider corrigé pour pointer au bon endroit ; format JSON aussi corrigé (le provisioning fichier attend le dashboard directement à la racine du JSON, pas encapsulé dans {"dashboard": {...}} comme l'API HTTP).

Script de configuration automatique

/root/bin/configure_rag.sh applique tous les réglages ci-dessus (config open-webui + params pcstreet-assistant + KV cache ollama) en une seule commande, idempotent (rejouable sans risque, ex. après réinstallation). Sauvegarde automatiquement webui.db avant modification dans /root/bin/.rag_backups/.

Emplacement des réglages

Tous ces réglages sont stockés en base SQLite (pas de fichier de config classique) : /root/IA/open-webui.debian12/venv/lib/python3.12/site-packages/open_webui/data/webui.db, table config (colonne data, JSON) et table model (colonne params pour pcstreet-assistant).