Info::IA::RAG::migration vers Framework::gpt-oss-120b (helped by Claude)

De wiki_pcwiki2
Aller à la navigationAller à la recherche

KEYWORDS: RAG, FRAMEWORK 128 GO, GPT-OSS-120B

Le 04/09/2026:

Migrer le RAG local de srv18 (qwen3:14b / RTX 3060) vers le Framework (gpt-oss-120b / 128 Go)

Note de préparation (04/09/2026) : ce qu'il faudra faire, à réception du Framework Desktop (Ryzen AI Max+ 395 « Strix Halo », 128 Go de mémoire unifiée), pour déménager le RAG open-webui — aujourd'hui 100 % local sur srv18 (génération pcstreet-assistant basé sur qwen3:14b, embeddings bge-m3, le tout sur la RTX 3060 12 Go) — vers une génération par gpt-oss:120b hébergée sur le Framework.

À retenir : l'index RAG (base vectorielle Chroma + webui.db + uploads/) ne se reconstruit pas tant que le modèle d'embedding reste bge-m3. Le gros du travail est le passage qwen3:14b → gpt-oss-120b (comportement du modèle), pas la plomberie.

1. Trois choses distinctes

Élément Migration Pourquoi
Machine qui héberge le LLM (3060 12 Go → Framework 128 Go) Obligatoire gpt-oss-120b ≈ 65 Go, impossible sur 12 Go — c'est toute la raison du Framework
Modèle de génération (qwen3:14b → gpt-oss:120b) Changement de base du modèle workspace + re-tuning voir §4
Index RAG (Chroma vector_db/ + webui.db + uploads/) Aucune reconstruction Les vecteurs dépendent du modèle d'embedding, pas du modèle de génération

2. L'index RAG suit par simple copie

Emplacement réel du corpus sur srv18 (la variable OPEN_WEBUI_DATA_DIR de l'unité est ignorée — open-webui lit DATA_DIR et retombe sinon sur son défaut dans le venv) :

/root/IA/open-webui.debian12/venv/lib/python3.12/site-packages/open_webui/data/
├── vector_db/     ~968 collections Chroma (embeddings bge-m3, 1024 dim)
├── webui.db       26 Mo — bases de connaissances, modèles workspace
│                  (pcstreet-assistant), paramètres RAG (top_k=5,
│                  task.query.retrieval.enable=false, prompt système…)
├── uploads/       documents sources
└── cache/                                     →  2,3 Go au total

Tant que bge-m3 reste le modèle d'embedding, cette base est réutilisable telle quelle : migration = un rsync de 2,3 Go, zéro ré-embedding. Changer de modèle d'embedding = tout réindexer (long : ~968 collections) → à éviter sans raison.

3. Où tourne open-webui après ? Deux scénarios

Scénario A — open-webui reste sur srv18, le Framework ne sert que le gros LLM

Le moins de travail, à faire en premier.

  • Framework : ollama pull gpt-oss:120b, Environment="OLLAMA_HOST=0.0.0.0:11434"
  • srv18, dans open-webui.service :
Environment="OLLAMA_BASE_URLS=http://192.168.1.18:11434;http://<ip-framework>:11434"
  • Embeddings bge-m3 : restent sur le 3060, RAG_OLLAMA_BASE_URL inchangé (bge-m3 ≈ 1,2 Go)
  • Rien à copier : vector_db/ et webui.db ne bougent pas
  • Dans open-webui → Espace de travail → Modèles : éditer pcstreet-assistant, changer la base qwen3:14b → gpt-oss:120b

Scénario B — tout migre sur le Framework (srv18 libéré du rôle IA)

  • Installer open-webui sur le Framework (même méthode venv)
  • rsync -a les 2,3 Go du data/ vers la nouvelle install
  • Fixer Environment="DATA_DIR=/var/lib/open-webui" explicitement — ne pas rester sur le défaut dans site-packages
  • ollama pull gpt-oss:120b et ollama pull bge-m3 en local
  • RAG_OLLAMA_BASE_URL + OLLAMA_BASE_URLS → 127.0.0.1
  • Changer la base de pcstreet-assistant

4. Le vrai travail : qwen3:14b → gpt-oss-120b

  • pcstreet-assistant est réglé pour qwen3 : prompt système spécifique + param think=false (économisait 16–29 s/réponse, cf. Réglages RAG / open-webui — srv18). gpt-oss n'a pas le /think de qwen3 : il a un reasoning effort low/medium/high (message système « Reasoning: low » ou paramètre Ollama). → retranscrire l'optimisation en reasoning = low pour du Q/R RAG.
  • gpt-oss utilise le format harmony ; Ollama le gère, mais le comportement du prompt système diffère de qwen3 → prévoir une passe sur le prompt custom.
  • La longueur de contexte devient un vrai gain : srv18 est coincé à num_ctx=4096 sur le 3060. Sur le Framework :
Environment="OLLAMA_CONTEXT_LENGTH=32768"   # voire 65536, la RAM le permet
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"     # compatible gpt-oss, à garder
→ on peut enfin monter le Top K et la taille des chunks. C'est le bénéfice qualitatif principal du déménagement, au-delà de la taille du modèle.
  • Le souci de fiabilité du retrieval (reformulation non déterministe, déjà désactivée via task.query.retrieval.enable=false) est indépendant du modèle de génération → inchangé.
  • Prévoir quelques heures de re-tuning (Top K, chunk, température, contexte) : les réglages actuels sont calés pour qwen3 + 4096 tokens.

5. Faisabilité / perfs sur le Framework

  • gpt-oss-120b MXFP4 ≈ 65 Go en mémoire unifiée, MoE ~5,1 G paramètres actifs → 30–50 tok/s sur Strix Halo (~256 Go/s de bande passante) — comparable voire mieux que qwen3:14b sur le 3060, avec un modèle bien plus fort
  • bge-m3 à côté : ~1,2 Go, négligeable ; il reste ~55 Go pour le cache KV / le grand contexte / d'autres modèles
  • ROCm sur Strix Halo exploitable début 2026 (parfois HSA_OVERRIDE_GFX_VERSION=11.5.1) ; repli Vulkan déjà utilisé côté srv18 (OLLAMA_VULKAN=true)

6. Bilan de difficulté

Tâche Effort
Faire suivre l'index RAG (rsync 2,3 Go, ou rien en scénario A) Trivial — parce que bge-m3 ne change pas
Monter gpt-oss:120b sur le Framework (pull 65 Go + ROCm + contexte) ~½ journée
Recréer pcstreet-assistant sur base gpt-oss + re-tuning RAG Quelques heures de tests

Total ≈ 1 journée, dont l'essentiel = le téléchargement de 65 Go et le re-réglage.

7. Procédure le jour J (scénario A)

  1. Framework : Debian + Ollama, OLLAMA_HOST=0.0.0.0:11434, OLLAMA_CONTEXT_LENGTH=32768, OLLAMA_KV_CACHE_TYPE=q8_0
  2. ollama pull gpt-oss:120b (~65 Go) puis ollama pull bge-m3 (optionnel, si on veut aussi rapatrier les embeddings)
  3. Test direct : curl http://<ip-framework>:11434/api/generate -d '{"model":"gpt-oss:120b","prompt":"bonjour","stream":false}'
  4. srv18, open-webui.service : ajouter le Framework à OLLAMA_BASE_URLS ; laisser RAG_EMBEDDING_ENGINE / RAG_EMBEDDING_MODEL / RAG_OLLAMA_BASE_URL inchangés
  5. systemctl daemon-reload && systemctl restart open-webui
  6. open-webui → Espace de travail → Modèles : base de pcstreet-assistant = gpt-oss:120b ; ajouter « Reasoning: low » au prompt système ; retirer le param think
  7. Régler Context Length du modèle (≈ 32768), Top K et taille de chunk dans les paramètres RAG
  8. Vérifier : une question sur un document déjà indexé renvoie une réponse sourcée ; comparer latence et qualité à l'ancien qwen3:14b
  9. Une fois validé : bascule éventuelle vers le scénario B (open-webui + embeddings sur le Framework, srv18 libéré)