Info::OpenWebUi::how to update Locator and pcWiki in OpenWebUi

De wiki_pcwiki2
Aller à la navigationAller à la recherche

KEYWORDS: OPENWEBUI, LOCATOR, PCWIKI

Le 02/11/2026:

Mise à jour de LOCATOR et pcwiki dans Open WebUI (srv18)

Cette page résume comment les deux sources d'information « LOCATOR » (inventaire physique sous /home/LOCATOR) et « pcwiki » (MediaWiki) alimentent la base de connaissances (RAG) d'Open WebUI sur srv18, et comment intervenir manuellement sur chaque étape.

Vue d'ensemble

Il y a deux étages bien distincts :

  1. La source LOCATOR (/home/LOCATOR) : srv18 est désormais le serveur
 maître. Les fiches .loc sont éditées directement ici, il n'y a plus de
 rapatriement à faire depuis un autre serveur.
  1. L'indexation dans Open WebUI : un script unique, run_sync.sh, tourne
 toutes les 2 minutes via cron et pousse vers Open WebUI :
 * les pages pcwiki modifiées,
 * les fiches .loc de LOCATOR modifiées,
 * les catalogues listPcProgs modifiés.

Tout se trouve dans /root/IA/wiki-sync/ sur srv18.

1) Mettre à jour la source /home/LOCATOR

srv18 est le serveur maître de LOCATOR. Le dossier /home/LOCATOR sur srv18 est édité directement (ajout/modification des fiches .loc) : il n'y a pas de rapatriement à effectuer avant l'étape 2, on passe directement à l'indexation.

2) Indexer LOCATOR + pcwiki dans Open WebUI

Le script run_sync.sh

/root/IA/wiki-sync/run_sync.sh

Planifié par cron toutes les 2 minutes :

*/2 * * * * /root/IA/wiki-sync/run_sync.sh >> /root/IA/wiki-sync/cron.log 2>&1

À chaque exécution, il effectue trois synchronisations vers Open WebUI (http://192.168.1.18:8081), toutes incrémentales (seul ce qui a changé depuis le dernier passage est repoussé) :

Étape Source Script Base de connaissances (.env)
pcwiki MediaWiki (pcwiki.pcstreet.org) wiki_sync.py OWUI_KNOWLEDGE_ID (« Wiki PCStreet »)
LOCATOR fichiers *.loc sous /home/LOCATOR fonction sync_locator() (dans run_sync.sh) LOC_KNOWLEDGE_ID (= OWUI_KNOWLEDGE_ID par défaut, donc même base que pcwiki)
listPcProgs catalogues programmes/scripts .pcmake listpcprogs_sync.py LISTPCPROGS_KNOWLEDGE_ID (base séparée)

Donc LOCATOR et pcwiki finissent dans la même base Open WebUI (« Wiki PCStreet »).

Un verrou (flock sur .run_sync.lock) empêche deux exécutions concurrentes (cron + lancement manuel par exemple), ce qui provoquerait sinon des erreurs « Duplicate content detected » côté Open WebUI.

Détection des changements pour LOCATOR

Contrairement au wiki (qui a une date de dernière modification côté MediaWiki), les fiches .loc sont détectées par hash du contenu généré (pas par date de fichier, car un rsync -a préserve la date d'origine). L'état est gardé dans :

/root/IA/wiki-sync/locator_files.map

Format : chemin_relatif<TAB>file_id_openwebui<TAB>md5_du_markdown_genere, une ligne par fiche .loc déjà poussée.

Fichiers de suivi utiles

  • cron.log — log complet de tous les runs cron (wiki + LOCATOR + listPcProgs).
  • last_run.log — dernier run de wiki_sync.py.
  • last_run_locator.log — dernières fiches LOCATOR effectivement synchronisées.
  • last_run_listpcprogs.log — dernier run des catalogues listPcProgs.
  • .env — identifiants Open WebUI et IDs des bases de connaissances.

3) Nettoyer les fiches LOCATOR obsolètes

run_sync.sh ne gère que les ajouts/mises à jour, jamais les suppressions : si un fichier .loc est supprimé ou renommé sous /home/LOCATOR, sa fiche reste dans Open WebUI et son entrée reste dans locator_files.map.

Script dédié :

bash /root/IA/wiki-sync/locator_cleanup.sh --dry-run   # voir ce qui serait supprimé, sans rien changer
bash /root/IA/wiki-sync/locator_cleanup.sh              # applique le nettoyage

Il compare locator_files.map à la liste réelle des .loc sur disque, retire de Open WebUI (et du fichier d'état) toute fiche dont le .loc source n'existe plus, avec sauvegarde automatique de locator_files.map avant modification et le même verrou que run_sync.sh.

4) Diagnostic

Le script loc_diag.sh interroge l'API Open WebUI pour vérifier l'état de la synchronisation LOCATOR. Attention : sur la version d'Open WebUI actuellement déployée, l'appel GET /api/v1/knowledge/{id} renvoie "files":null (le champ fichiers n'est pas peuplé), ce qui fait croire à tort que la base est vide. Pour vérifier réellement la présence d'un fichier, préférer :

curl -s "$OWUI_BASE_URL/api/v1/files/search?filename=LOCATOR_*&content=false" \
    -H "Authorization: Bearer $TOKEN"

ou tester directement un file_id connu (issu de locator_files.map) via GET /api/v1/files/{file_id} (200 = le fichier existe bien côté serveur).

Résumé en une phrase

srv18 est le maître de LOCATOR (édition directe de /home/LOCATOR) ; run_sync.sh (cron toutes les 2 min) pousse ensuite pcwiki, LOCATOR et listPcProgs dans Open WebUI ; locator_cleanup.sh retire les fiches LOCATOR devenues obsolètes.