Info::IA::Framework GPT-OSS-120B HowTo
KEYWORDS: IA, GPT-OSS-120B
Le 08/09/2026:
RAG pcWiki : architecture srv18 / HAL
Cette page documente la décision d'architecture prise en septembre 2026 pour l'évolution du RAG PCStreet Assistant, suite à l'arrivée prévue du Framework Desktop (HAL).
Contexte
- Stack actuelle sur srv18 : Ollama + qwen3:14b (RTX 3060 12 Go), embeddings bge-m3, reranker BAAI (CPU).
- Base RAG : wiki PCStreet (~2100+ pages, synchronisé via
wiki_sync.py). - Arrivée prochaine de HAL : Framework Desktop, AMD Max+ 395, 128 Go de mémoire unifiée.
- Objectif : évaluer si gpt-oss-120b sur HAL améliore la pertinence du RAG, et comment répartir les composants (embeddings / reranker / génération) entre srv18 et HAL.
Contrainte mémoire découverte sur HAL
Point important : sur le Max+ 395, le firmware ne permet d'allouer au GPU qu'une partie de la mémoire unifiée. Sur 128 Go physiques, seuls ~96 Go sont réellement exploitables pour les modèles, le reste restant réservé au système/CPU.
Budget mémoire si on essaie de tout faire tenir sur HAL :
| Modèle | Taille estimée | Rôle |
|---|---|---|
| gpt-oss-120b (MXFP4) | ~65 Go | Génération |
| Qwen3-Embedding-8B (fp16) | ~16 Go | Embeddings |
| Qwen3-Reranker-8B (fp16) | ~16 Go | Reranking |
| Total | ~97 Go | > 96 Go disponibles |
Conclusion : la consolidation totale des trois modèles sur HAL est techniquement impossible en fp16/MXFP4 (sans compter le KV-cache du LLM ni la marge de contexte long), au-delà même des problèmes de contention mémoire/bande-passante que poserait le fait de tout faire tourner en série sur le même silicium.
Architecture retenue
Répartition des rôles entre les deux machines plutôt que consolidation :
- srv18 (RTX 3060 12 Go) — socle retrieval
- * Qwen3-Embedding (4B pour commencer, à comparer avec bge-m3)
- * Qwen3-Reranker (multilingue, remplace le reranker BAAI)
- * Open-WebUI comme orchestrateur (interface + appel au backend de génération)
- * Synchro MediaWiki (
wiki_sync.py) et stockage vectoriel
- HAL (Framework Desktop, ~96 Go exploitables) — serveur d'inférence dédié
- * gpt-oss-120b exclusivement (MXFP4, ROCm gfx1151, via llama.cpp ou vLLM)
- * API HTTP compatible OpenAI exposée sur le réseau local (192.168.1.x)
- * Toute la marge mémoire réservée au KV-cache et au contexte long (jusqu'à 128k tokens)
Avantages : pas de contention entre embeddings/reranking et génération, retrieval et génération peuvent évoluer indépendamment, et HAL profite de toute sa mémoire pour un seul modèle au lieu de la partager entre trois.
Plan de migration
1. Déployer Qwen3-Embedding et Qwen3-Reranker sur srv18
En parallèle de l'existant bge-m3/BAAI, sans suppression immédiate, pour comparaison A/B.
# Sur srv18, dans le venv Open-WebUI existant
pip install -U sentence-transformers
ollama pull qwen3-embedding:4b
ollama pull qwen3-reranker:4b
2. Ré-embedder l'intégralité du pcWiki
Recréer l'index vectoriel avec la nouvelle dimension via wiki_sync.py.
python3 wiki_sync.py --full-reindex --embedder qwen3-embedding:4b
3. Valider la pertinence du retrieval seul
Sur un jeu de requêtes témoins (circuit IBC, PV, BOIS-DERY...), sans changer de LLM, pour isoler le gain réel de ce changement.
4. Préparer HAL à réception
Installer ROCm 6.4.4+ pour gfx1151, puis llama.cpp ou vLLM avec gpt-oss-120b en MXFP4.
# Sur HAL (Debian 13)
apt install rocm-hip-sdk rocm-libs
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1151
cmake --build build --config Release -j"$(nproc)"
# Lancement du serveur API compatible OpenAI
./build/bin/llama-server \
--model gpt-oss-120b-mxfp4.gguf \
--host 192.168.1.X --port 8080 \
--ctx-size 32768
5. Brancher Open-WebUI sur HAL en backend distant
Remplacer l'appel Ollama local par un appel réseau vers l'API de HAL pour la génération, en gardant embeddings/reranker sur srv18.
6. Mesurer la latence bout-en-bout
Chronométrer requête complète (retrieval srv18 + génération HAL sur le réseau local) et ajuster le top-k / la taille de contexte selon le débit réel observé.
Décision
Architecture répartie srv18 (retrieval) / HAL (génération) retenue. Aucun surcoût matériel (les deux machines sont déjà possédées ou commandées), meilleure fiabilité (pas de point de défaillance unique), et contourne la contrainte des ~96 Go exploitables sur HAL.