Info::IA::Framework performances comparées entre ollama et llama-server
KEYWORDS: IA, FRAMEWORK, OLLAMA, LLAMA-SERVER
'Le 09/09/2026:
CONCLUSION de la page : llama-server (llama.cpp / Vulkan) est à privilégier: géneration 1.5x plus rapide que ollama (54 tok/s contre 35 tok/s), pour un prefill quasi identique (690 tok/s contre 715 tok/s). MA CONCLUSION PERSO: Laisser le même embedder et retriever sur srv18 et ne changer que le generator (GPT-OSS-120B) ne change pas la pertinence des réponses
HAL — Benchmark GPT-OSS-120B : ollama vs llama-server, et impact sur le RAG pcWiki
KEYWORDS: IA, FRAMEWORK, OLLAMA, LLAMA-SERVER
Le 09/09/2026:
Génération (decode) : llama.cpp nettement devant, ≈ +52 % (54 vs 35 tok/s).
Page de référence — dernière mise à jour : 2026-09-09
Cette page décrit la méthodologie de test employée sur HAL (Framework Desktop, Ryzen AI Max+ 395, 128 Go, Debian 13.6, iGPU Radeon 8060S / gfx1151), les résultats comparés des deux moteurs d'inférence locale pour le modèle GPT-OSS-120B, et explique pourquoi le choix du moteur ne modifie pas la qualité du RAG rendu par Open WebUI branché sur le wiki PCStreet.
Contexte matériel et logiciel
| Élément | Valeur |
|---|---|
| Machine | Framework Desktop, AMD Ryzen AI Max+ 395, 128 Go LPDDR5X |
| OS / noyau | Debian 13.6, noyau 7.1.8 (backports) |
| iGPU | Radeon 8060S = gfx1151, pilote RADV STRIX_HALO, Mesa 26.1.2 |
| Modèle testé | GPT-OSS-120B, quant MXFP4 (GGUF ≈ 59 Gio / 63 Go), architecture MoE |
| Mémoire iGPU (BIOS) | Mode Auto → VRAM dédiée 32,0 Gio, GTT 94,1 Gio, RAM système 94 Go |
| Moteur A | llama.cpp (llama-server), backend Vulkan / RADV, commit d4389a4, port 8090 |
| Moteur B | ollama 0.33.2, backend ROCm 7.2 embarqué (reconnaît gfx1151 nativement), port 11434 |
Méthodologie de test
Principes
- Comparaison stricte : mêmes conditions des deux côtés.
- KV cache en f16 sur les deux moteurs.
- Flash attention activée sur les deux (
-fa oncôté llama.cpp,OLLAMA_FLASH_ATTENTION=1côté ollama). - Fenêtre de contexte de travail :
num_ctx = 4096. - Température = 0 (sortie déterministe).
- Mesure via l'API HTTP réelle des deux moteurs (et non un micro-bench interne only), pour refléter l'usage effectif par Open WebUI :
- llama-server :
POST /completion, lecture du bloctimings(prompt_per_second,predicted_per_second). - ollama :
POST /api/generate(stream:false), calculprompt_eval_count / prompt_eval_durationeteval_count / eval_duration.
- llama-server :
- Un seul moteur chargé à la fois (l'autre service arrêté) pour éviter la contention GPU.
- Vérification de la charge GPU avec
radeontop/nvtop(GPU à ~100 %, VRAM+GTT ≈ 60 Go pendant l'inférence).
Métrique « prefill » (traitement du prompt)
- Prompt aléatoire non mis en cache à chaque itération, pour neutraliser le prompt-cache :
- llama.cpp :
cache_prompt: false+ contenu aléatoire. - ollama : préfixe aléatoire à chaque appel.
- llama.cpp :
- Prompt volumineux (≈ 3 000 à 5 000 tokens) pour mesurer le débit en régime établi.
- 4 itérations, moyenne retenue. Débit exprimé en tokens de prompt par seconde.
Métrique « decode » (génération)
- Prompt court, génération forcée à 256 tokens (
n_predict/num_predict = 256). - 4 itérations, moyenne retenue. Débit exprimé en tokens générés par seconde (tg256).
Mesure de référence complémentaire
llama-bench -m gpt-oss-120b-MXFP4.gguf -ngl 999 -fa 1 -r 3 -p 512,2048 -n 128,256
(débit synthétique pp512 / pp2048 / tg128 / tg256, KV f16 par défaut).
Résultats
Comparaison principale (2026-09-09, iGPU en Auto — VRAM 32 Go)
| Moteur | Backend | Répartition mémoire du modèle | Prefill (prompt 3–5 k tok) | Decode (tg256) |
|---|---|---|---|---|
| llama.cpp (llama-server :8090) | Vulkan / RADV | 31,9 Gio VRAM + 32,3 Gio GTT | ≈ 690 tok/s | ≈ 54 tok/s (llama-bench : 55,2) |
| ollama 0.33.2 (:11434) | ROCm 7.2 (embarqué) | ≈ 60 Gio GTT (VRAM dédiée ignorée) | ≈ 715 tok/s | ≈ 35,4 tok/s |
Rappel : mesure précédente (2026-09-08, iGPU en UMA_SPECIFIED — VRAM 96 Go)
| Moteur | Prefill | Decode |
|---|---|---|
| llama.cpp | pp512 674 / pp2048 676 tok/s | tg128 55,3 / tg256 55,3 tok/s |
| ollama | ≈ 377 tok/s (voir note) | 36,2 tok/s (KV f16) — 36,4 tok/s (KV q8_0) |
Analyse
- Génération (decode) : llama.cpp nettement devant, ≈ +52 % (54 vs 35 tok/s).
L'écart vient du backend : RADV/Vulkan est plus rapide que le ROCm 7.2 embarqué d'ollama sur ce iGPU gfx1151 avec un modèle MoE. Ce n'est ni le type de KV cache (ollama : 36,4 en q8_0 vs 36,2 en f16 — négligeable), ni la VRAM.
- Prefill : quasi à égalité (≈ 690 vs ≈ 715 tok/s) sur gros prompt réel.
L'écart « 1,8× » observé le 08/09 était un artefact de méthodologie :
llama-bench pp512 est un batch synthétique de 512 tokens, alors que le
test ollama utilisait un petit prompt. À prompt réel comparable, les deux plafonnent
autour de 700 tok/s.
- Passage VRAM 96 Go → Auto (32 Go) : impact quasi nul sur les perfs.
Sur cet APU, VRAM dédiée et GTT sont la même mémoire physique LPDDR5X (uma:1).
llama-bench est inchangé (tg256 55,3 → 55,2 ; pp512 674 → 642, dans le bruit).
Le vrai gain est ailleurs : +62 Go de RAM système (32 → 94 Go), ce qui rend
ollama de nouveau utilisable sans faire planter HAL (plus de pression mémoire / swap).
- Détail de répartition : llama-server répartit le modèle moitié VRAM / moitié GTT ;
ollama place tout en GTT (son ROCm embarqué n'utilise pas la VRAM dédiée). Aucune conséquence de perf, même LPDDR5X.
Verdict
llama-server (llama.cpp / Vulkan) reste le moteur principal sur HAL : génération ~1,5× plus rapide, prefill équivalent, service systemd stable. ollama peut tourner en parallèle si besoin (RAM suffisante désormais), par exemple pour un second modèle ou pour l'écosystème ollama.
Pourquoi le moteur ne change rien au RAG pcWiki
Rappel de l'architecture RAG
Le RAG « Wiki PCStreet » sur HAL est rendu par la fonction Pipe pcwiki_srv18
dans Open WebUI. Le flux est :
- L'utilisateur pose une question dans Open WebUI (HAL, port 3000).
- La Pipe envoie la dernière question à srv18 :
POST http://192.168.1.18:8081/api/v1/retrieval/query/collection(collection « Wiki PCStreet »,k = 5,hybrid = false).- srv18 calcule l'embedding de la question avec bge-m3 (Ollama srv18, GPU NVIDIA).
- srv18 renvoie les passages les plus proches depuis la base vectorielle Chroma.
- La Pipe injecte ces passages numérotés + les consignes de citation dans un message
system. - La Pipe envoie l'ensemble au LLM de HAL :
POST http://127.0.0.1:8090/v1/chat/completions(gpt-oss-120b, en streaming). - Le LLM rédige la réponse avec les marqueurs
[n]et le pied « Sources ».
Open WebUI de HAL est déjà configuré sur llama-server, pas sur ollama :
ENABLE_OLLAMA_API=false, ENABLE_OPENAI_API=true,
OPENAI_API_BASE_URL=http://127.0.0.1:8090/v1. Le service ollama est arrêté et
désactivé.
Ce qui détermine la qualité du RAG
La qualité d'un RAG (rappel, pertinence, ancrage/grounding, exactitude des citations) est fixée en amont du LLM, par :
- le retrieval sur srv18 : modèle d'embeddings (bge-m3), découpage en chunks,
TOP_K, mode hybride (BM25 + vecteur) ou non, seuils ;
- la construction du prompt par la Pipe : passages injectés, consignes de citation,
MAX_CONTEXT_CHARS, température.
Le moteur d'inférence intervient après : il ne voit que « passages + question + consignes » et rédige. Il ne touche jamais au choix des passages.
Pourquoi ollama ↔ llama-server est neutre ici
- Même modèle, mêmes poids. ollama et llama-server servent tous deux exactement le
même GPT-OSS-120B en quant MXFP4. À température 0, avec le même contexte injecté,
le contenu de la réponse, l'ancrage sur les passages et les renvois [n]
sont identiques. Les différences numériques de backend (Vulkan vs ROCm, KV f16
vs q8_0) restent en deçà de ce qui change une réponse ancrée.
- Le retrieval est inchangé. Il vit sur srv18 et ne dépend pas du moteur de HAL.
Basculer, garder ou remplacer llama-server ne modifie ni les embeddings, ni les chunks, ni les passages renvoyés.
- Open WebUI pointe déjà sur llama-server. Le endpoint utilisé par la Pipe est
127.0.0.1:8090 (llama-server). Rien à changer, donc rien qui bouge côté RAG.
- Seule différence observable : la vitesse. Avec llama-server, la réponse ancrée
est produite ~1,5× plus vite (~54 tok/s vs ~35). Même réponse, plus tôt.
- Bonus stabilité. Avec l'iGPU en Auto (94 Go de RAM système), llama-server ne subit
plus de pression mémoire : le endpoint RAG est disponible de façon plus fiable.
Ce qui, à l'inverse, changerait le RAG
Pour améliorer le RAG pcWiki, il faut agir sur srv18 ou sur la Pipe, pas sur le moteur LLM :
- activer
HYBRID=true(BM25 + vecteur) côté srv18 si le rappel est faible ; - ajuster
TOP_K(nombre de passages) ; - revoir le modèle d'embeddings ou le découpage en chunks côté srv18 ;
- affiner les consignes de citation / le format du prompt dans
pcwiki_pipe.py.
Méthode de reproduction (résumé)
# 1. n'avoir qu'un moteur actif
sudo systemctl stop ollama # pour tester llama-server
# ou : sudo systemctl stop llama-server ; sudo systemctl start ollama
# 2. llama.cpp — référence synthétique
sudo -u pchevalier env HF_HOME=/data/ai/models/hf \
/data/ai/src/llama.cpp/build/bin/llama-bench \
-m /data/ai/models/gguf/gpt-oss-120b-MXFP4.gguf \
-ngl 999 -fa 1 -r 3 -p 512,2048 -n 128,256
# 3. mesure API (prefill : prompt aléatoire non caché ; decode : n_predict=256), 4 runs
# llama-server : POST http://127.0.0.1:8090/completion {"cache_prompt":false,...}
# ollama : POST http://127.0.0.1:11434/api/generate {"stream":false,"options":{"num_ctx":4096,...}}
# 4. charge GPU
radeontop # ou nvtop