Info::IA::RAG::migration vers Framework::gpt-oss-120b (helped by Claude)
KEYWORDS: RAG, FRAMEWORK 128 GO, GPT-OSS-120B
Le 04/09/2026:
Migrer le RAG local de srv18 (qwen3:14b / RTX 3060) vers le Framework (gpt-oss-120b / 128 Go)
Note de préparation (04/09/2026) : ce qu'il faudra faire, à réception du Framework Desktop (Ryzen AI Max+ 395 « Strix Halo », 128 Go de mémoire unifiée), pour déménager le RAG open-webui — aujourd'hui 100 % local sur srv18 (génération pcstreet-assistant basé sur qwen3:14b, embeddings bge-m3, le tout sur la RTX 3060 12 Go) — vers une génération par gpt-oss:120b hébergée sur le Framework.
À retenir : l'index RAG (base vectorielle Chroma + webui.db + uploads/) ne se reconstruit pas tant que le modèle d'embedding reste bge-m3. Le gros du travail est le passage qwen3:14b → gpt-oss-120b (comportement du modèle), pas la plomberie.
1. Trois choses distinctes
| Élément | Migration | Pourquoi |
|---|---|---|
| Machine qui héberge le LLM (3060 12 Go → Framework 128 Go) | Obligatoire | gpt-oss-120b ≈ 65 Go, impossible sur 12 Go — c'est toute la raison du Framework
|
Modèle de génération (qwen3:14b → gpt-oss:120b) |
Changement de base du modèle workspace + re-tuning | voir §4 |
Index RAG (Chroma vector_db/ + webui.db + uploads/) |
Aucune reconstruction | Les vecteurs dépendent du modèle d'embedding, pas du modèle de génération |
2. L'index RAG suit par simple copie
Emplacement réel du corpus sur srv18 (la variable OPEN_WEBUI_DATA_DIR de l'unité est ignorée — open-webui lit DATA_DIR et retombe sinon sur son défaut dans le venv) :
/root/IA/open-webui.debian12/venv/lib/python3.12/site-packages/open_webui/data/ ├── vector_db/ ~968 collections Chroma (embeddings bge-m3, 1024 dim) ├── webui.db 26 Mo — bases de connaissances, modèles workspace │ (pcstreet-assistant), paramètres RAG (top_k=5, │ task.query.retrieval.enable=false, prompt système…) ├── uploads/ documents sources └── cache/ → 2,3 Go au total
Tant que bge-m3 reste le modèle d'embedding, cette base est réutilisable telle quelle : migration = un rsync de 2,3 Go, zéro ré-embedding. Changer de modèle d'embedding = tout réindexer (long : ~968 collections) → à éviter sans raison.
3. Où tourne open-webui après ? Deux scénarios
Scénario A — open-webui reste sur srv18, le Framework ne sert que le gros LLM
Le moins de travail, à faire en premier.
- Framework :
ollama pull gpt-oss:120b,Environment="OLLAMA_HOST=0.0.0.0:11434" - srv18, dans
open-webui.service:
Environment="OLLAMA_BASE_URLS=http://192.168.1.18:11434;http://<ip-framework>:11434"
- Embeddings
bge-m3: restent sur le 3060,RAG_OLLAMA_BASE_URLinchangé (bge-m3 ≈ 1,2 Go) - Rien à copier :
vector_db/etwebui.dbne bougent pas - Dans open-webui → Espace de travail → Modèles : éditer
pcstreet-assistant, changer la baseqwen3:14b→gpt-oss:120b
Scénario B — tout migre sur le Framework (srv18 libéré du rôle IA)
- Installer open-webui sur le Framework (même méthode venv)
rsync -ales 2,3 Go dudata/vers la nouvelle install- Fixer
Environment="DATA_DIR=/var/lib/open-webui"explicitement — ne pas rester sur le défaut danssite-packages ollama pull gpt-oss:120betollama pull bge-m3en localRAG_OLLAMA_BASE_URL+OLLAMA_BASE_URLS→127.0.0.1- Changer la base de
pcstreet-assistant
4. Le vrai travail : qwen3:14b → gpt-oss-120b
pcstreet-assistantest réglé pour qwen3 : prompt système spécifique + paramthink=false(économisait 16–29 s/réponse, cf. Réglages RAG / open-webui — srv18). gpt-oss n'a pas le/thinkde qwen3 : il a un reasoning effortlow/medium/high(message système « Reasoning: low » ou paramètre Ollama). → retranscrire l'optimisation en reasoning = low pour du Q/R RAG.- gpt-oss utilise le format harmony ; Ollama le gère, mais le comportement du prompt système diffère de qwen3 → prévoir une passe sur le prompt custom.
- La longueur de contexte devient un vrai gain : srv18 est coincé à
num_ctx=4096sur le 3060. Sur le Framework :
Environment="OLLAMA_CONTEXT_LENGTH=32768" # voire 65536, la RAM le permet Environment="OLLAMA_KV_CACHE_TYPE=q8_0" # compatible gpt-oss, à garder
- → on peut enfin monter le Top K et la taille des chunks. C'est le bénéfice qualitatif principal du déménagement, au-delà de la taille du modèle.
- Le souci de fiabilité du retrieval (reformulation non déterministe, déjà désactivée via
task.query.retrieval.enable=false) est indépendant du modèle de génération → inchangé. - Prévoir quelques heures de re-tuning (Top K, chunk, température, contexte) : les réglages actuels sont calés pour qwen3 + 4096 tokens.
5. Faisabilité / perfs sur le Framework
gpt-oss-120bMXFP4 ≈ 65 Go en mémoire unifiée, MoE ~5,1 G paramètres actifs → 30–50 tok/s sur Strix Halo (~256 Go/s de bande passante) — comparable voire mieux que qwen3:14b sur le 3060, avec un modèle bien plus fortbge-m3à côté : ~1,2 Go, négligeable ; il reste ~55 Go pour le cache KV / le grand contexte / d'autres modèles- ROCm sur Strix Halo exploitable début 2026 (parfois
HSA_OVERRIDE_GFX_VERSION=11.5.1) ; repli Vulkan déjà utilisé côté srv18 (OLLAMA_VULKAN=true)
6. Bilan de difficulté
| Tâche | Effort |
|---|---|
Faire suivre l'index RAG (rsync 2,3 Go, ou rien en scénario A) |
Trivial — parce que bge-m3 ne change pas |
Monter gpt-oss:120b sur le Framework (pull 65 Go + ROCm + contexte) |
~½ journée |
Recréer pcstreet-assistant sur base gpt-oss + re-tuning RAG |
Quelques heures de tests |
Total ≈ 1 journée, dont l'essentiel = le téléchargement de 65 Go et le re-réglage.
7. Procédure le jour J (scénario A)
- Framework : Debian + Ollama,
OLLAMA_HOST=0.0.0.0:11434,OLLAMA_CONTEXT_LENGTH=32768,OLLAMA_KV_CACHE_TYPE=q8_0 ollama pull gpt-oss:120b(~65 Go) puisollama pull bge-m3(optionnel, si on veut aussi rapatrier les embeddings)- Test direct :
curl http://<ip-framework>:11434/api/generate -d '{"model":"gpt-oss:120b","prompt":"bonjour","stream":false}' - srv18,
open-webui.service: ajouter le Framework àOLLAMA_BASE_URLS; laisserRAG_EMBEDDING_ENGINE/RAG_EMBEDDING_MODEL/RAG_OLLAMA_BASE_URLinchangés systemctl daemon-reload && systemctl restart open-webui- open-webui → Espace de travail → Modèles : base de
pcstreet-assistant=gpt-oss:120b; ajouter « Reasoning: low » au prompt système ; retirer le paramthink - Régler Context Length du modèle (≈ 32768), Top K et taille de chunk dans les paramètres RAG
- Vérifier : une question sur un document déjà indexé renvoie une réponse sourcée ; comparer latence et qualité à l'ancien qwen3:14b
- Une fois validé : bascule éventuelle vers le scénario B (open-webui + embeddings sur le Framework, srv18 libéré)