Info::IA::Framework performances comparées entre ollama et llama-server

De wiki_pcwiki2
Aller à la navigationAller à la recherche

KEYWORDS: IA, FRAMEWORK, OLLAMA, LLAMA-SERVER

'Le 09/09/2026:
CONCLUSION de la page : 
llama-server (llama.cpp / Vulkan) est à privilégier: 
géneration 1.5x plus rapide que ollama (54 tok/s contre 35 tok/s), 
pour un prefill quasi identique (690 tok/s contre 715 tok/s).
MA CONCLUSION PERSO:
 Laisser le même embedder et retriever sur srv18 et ne changer que le generator (GPT-OSS-120B) ne change pas la pertinence des réponses

HAL — Benchmark GPT-OSS-120B : ollama vs llama-server, et impact sur le RAG pcWiki

KEYWORDS: IA, FRAMEWORK, OLLAMA, LLAMA-SERVER

Le 09/09/2026:
Génération (decode) : llama.cpp nettement devant, ≈ +52 % (54 vs 35 tok/s).

Page de référence — dernière mise à jour : 2026-09-09

Cette page décrit la méthodologie de test employée sur HAL (Framework Desktop, Ryzen AI Max+ 395, 128 Go, Debian 13.6, iGPU Radeon 8060S / gfx1151), les résultats comparés des deux moteurs d'inférence locale pour le modèle GPT-OSS-120B, et explique pourquoi le choix du moteur ne modifie pas la qualité du RAG rendu par Open WebUI branché sur le wiki PCStreet.

Contexte matériel et logiciel

Élément Valeur
Machine Framework Desktop, AMD Ryzen AI Max+ 395, 128 Go LPDDR5X
OS / noyau Debian 13.6, noyau 7.1.8 (backports)
iGPU Radeon 8060S = gfx1151, pilote RADV STRIX_HALO, Mesa 26.1.2
Modèle testé GPT-OSS-120B, quant MXFP4 (GGUF ≈ 59 Gio / 63 Go), architecture MoE
Mémoire iGPU (BIOS) Mode Auto → VRAM dédiée 32,0 Gio, GTT 94,1 Gio, RAM système 94 Go
Moteur A llama.cpp (llama-server), backend Vulkan / RADV, commit d4389a4, port 8090
Moteur B ollama 0.33.2, backend ROCm 7.2 embarqué (reconnaît gfx1151 nativement), port 11434

Modèle:Remarque

Méthodologie de test

Principes

  • Comparaison stricte : mêmes conditions des deux côtés.
    • KV cache en f16 sur les deux moteurs.
    • Flash attention activée sur les deux (-fa on côté llama.cpp, OLLAMA_FLASH_ATTENTION=1 côté ollama).
    • Fenêtre de contexte de travail : num_ctx = 4096.
    • Température = 0 (sortie déterministe).
  • Mesure via l'API HTTP réelle des deux moteurs (et non un micro-bench interne only), pour refléter l'usage effectif par Open WebUI :
    • llama-server : POST /completion, lecture du bloc timings (prompt_per_second, predicted_per_second).
    • ollama : POST /api/generate (stream:false), calcul prompt_eval_count / prompt_eval_duration et eval_count / eval_duration.
  • Un seul moteur chargé à la fois (l'autre service arrêté) pour éviter la contention GPU.
  • Vérification de la charge GPU avec radeontop / nvtop (GPU à ~100 %, VRAM+GTT ≈ 60 Go pendant l'inférence).

Métrique « prefill » (traitement du prompt)

  • Prompt aléatoire non mis en cache à chaque itération, pour neutraliser le prompt-cache :
    • llama.cpp : cache_prompt: false + contenu aléatoire.
    • ollama : préfixe aléatoire à chaque appel.
  • Prompt volumineux (≈ 3 000 à 5 000 tokens) pour mesurer le débit en régime établi.
  • 4 itérations, moyenne retenue. Débit exprimé en tokens de prompt par seconde.

Métrique « decode » (génération)

  • Prompt court, génération forcée à 256 tokens (n_predict / num_predict = 256).
  • 4 itérations, moyenne retenue. Débit exprimé en tokens générés par seconde (tg256).

Mesure de référence complémentaire

  • llama-bench -m gpt-oss-120b-MXFP4.gguf -ngl 999 -fa 1 -r 3 -p 512,2048 -n 128,256
 (débit synthétique pp512 / pp2048 / tg128 / tg256, KV f16 par défaut).

Résultats

Comparaison principale (2026-09-09, iGPU en Auto — VRAM 32 Go)

Moteur Backend Répartition mémoire du modèle Prefill (prompt 3–5 k tok) Decode (tg256)
llama.cpp (llama-server :8090) Vulkan / RADV 31,9 Gio VRAM + 32,3 Gio GTT ≈ 690 tok/s ≈ 54 tok/s (llama-bench : 55,2)
ollama 0.33.2 (:11434) ROCm 7.2 (embarqué) ≈ 60 Gio GTT (VRAM dédiée ignorée) ≈ 715 tok/s ≈ 35,4 tok/s

Rappel : mesure précédente (2026-09-08, iGPU en UMA_SPECIFIED — VRAM 96 Go)

Moteur Prefill Decode
llama.cpp pp512 674 / pp2048 676 tok/s tg128 55,3 / tg256 55,3 tok/s
ollama ≈ 377 tok/s (voir note) 36,2 tok/s (KV f16) — 36,4 tok/s (KV q8_0)

Analyse

  • Génération (decode) : llama.cpp nettement devant, ≈ +52 % (54 vs 35 tok/s).
 L'écart vient du backend : RADV/Vulkan est plus rapide que le ROCm 7.2 embarqué
 d'ollama sur ce iGPU gfx1151 avec un modèle MoE. Ce n'est ni le type de KV cache
 (ollama : 36,4 en q8_0 vs 36,2 en f16 — négligeable), ni la VRAM.
  • Prefill : quasi à égalité (≈ 690 vs ≈ 715 tok/s) sur gros prompt réel.
 L'écart « 1,8× » observé le 08/09 était un artefact de méthodologie :
 llama-bench pp512 est un batch synthétique de 512 tokens, alors que le
 test ollama utilisait un petit prompt. À prompt réel comparable, les deux plafonnent
 autour de 700 tok/s.
  • Passage VRAM 96 Go → Auto (32 Go) : impact quasi nul sur les perfs.
 Sur cet APU, VRAM dédiée et GTT sont la même mémoire physique LPDDR5X (uma:1).
 llama-bench est inchangé (tg256 55,3 → 55,2 ; pp512 674 → 642, dans le bruit).
 Le vrai gain est ailleurs : +62 Go de RAM système (32 → 94 Go), ce qui rend
 ollama de nouveau utilisable sans faire planter HAL (plus de pression mémoire / swap).
  • Détail de répartition : llama-server répartit le modèle moitié VRAM / moitié GTT ;
 ollama place tout en GTT (son ROCm embarqué n'utilise pas la VRAM dédiée).
 Aucune conséquence de perf, même LPDDR5X.

Verdict

llama-server (llama.cpp / Vulkan) reste le moteur principal sur HAL : génération ~1,5× plus rapide, prefill équivalent, service systemd stable. ollama peut tourner en parallèle si besoin (RAM suffisante désormais), par exemple pour un second modèle ou pour l'écosystème ollama.

Pourquoi le moteur ne change rien au RAG pcWiki

Rappel de l'architecture RAG

Le RAG « Wiki PCStreet » sur HAL est rendu par la fonction Pipe pcwiki_srv18 dans Open WebUI. Le flux est :

  1. L'utilisateur pose une question dans Open WebUI (HAL, port 3000).
  2. La Pipe envoie la dernière question à srv18 : POST http://192.168.1.18:8081/api/v1/retrieval/query/collection (collection « Wiki PCStreet », k = 5, hybrid = false).
    1. srv18 calcule l'embedding de la question avec bge-m3 (Ollama srv18, GPU NVIDIA).
    2. srv18 renvoie les passages les plus proches depuis la base vectorielle Chroma.
  3. La Pipe injecte ces passages numérotés + les consignes de citation dans un message system.
  4. La Pipe envoie l'ensemble au LLM de HAL : POST http://127.0.0.1:8090/v1/chat/completions (gpt-oss-120b, en streaming).
  5. Le LLM rédige la réponse avec les marqueurs [n] et le pied « Sources ».

Open WebUI de HAL est déjà configuré sur llama-server, pas sur ollama : ENABLE_OLLAMA_API=false, ENABLE_OPENAI_API=true, OPENAI_API_BASE_URL=http://127.0.0.1:8090/v1. Le service ollama est arrêté et désactivé.

Ce qui détermine la qualité du RAG

La qualité d'un RAG (rappel, pertinence, ancrage/grounding, exactitude des citations) est fixée en amont du LLM, par :

  • le retrieval sur srv18 : modèle d'embeddings (bge-m3), découpage en chunks,
 TOP_K, mode hybride (BM25 + vecteur) ou non, seuils ;
  • la construction du prompt par la Pipe : passages injectés, consignes de citation,
 MAX_CONTEXT_CHARS, température.

Le moteur d'inférence intervient après : il ne voit que « passages + question + consignes » et rédige. Il ne touche jamais au choix des passages.

Pourquoi ollama ↔ llama-server est neutre ici

  • Même modèle, mêmes poids. ollama et llama-server servent tous deux exactement le
 même GPT-OSS-120B en quant MXFP4. À température 0, avec le même contexte injecté,
 le contenu de la réponse, l'ancrage sur les passages et les renvois [n]
 sont identiques. Les différences numériques de backend (Vulkan vs ROCm, KV f16
 vs q8_0) restent en deçà de ce qui change une réponse ancrée.
  • Le retrieval est inchangé. Il vit sur srv18 et ne dépend pas du moteur de HAL.
 Basculer, garder ou remplacer llama-server ne modifie ni les embeddings, ni les chunks,
 ni les passages renvoyés.
  • Open WebUI pointe déjà sur llama-server. Le endpoint utilisé par la Pipe est
 127.0.0.1:8090 (llama-server). Rien à changer, donc rien qui bouge côté RAG.
  • Seule différence observable : la vitesse. Avec llama-server, la réponse ancrée
 est produite ~1,5× plus vite (~54 tok/s vs ~35). Même réponse, plus tôt.
  • Bonus stabilité. Avec l'iGPU en Auto (94 Go de RAM système), llama-server ne subit
 plus de pression mémoire : le endpoint RAG est disponible de façon plus fiable.

Ce qui, à l'inverse, changerait le RAG

Pour améliorer le RAG pcWiki, il faut agir sur srv18 ou sur la Pipe, pas sur le moteur LLM :

  • activer HYBRID=true (BM25 + vecteur) côté srv18 si le rappel est faible ;
  • ajuster TOP_K (nombre de passages) ;
  • revoir le modèle d'embeddings ou le découpage en chunks côté srv18 ;
  • affiner les consignes de citation / le format du prompt dans pcwiki_pipe.py.

Méthode de reproduction (résumé)

# 1. n'avoir qu'un moteur actif
sudo systemctl stop ollama         # pour tester llama-server
# ou : sudo systemctl stop llama-server ; sudo systemctl start ollama

# 2. llama.cpp — référence synthétique
sudo -u pchevalier env HF_HOME=/data/ai/models/hf \
  /data/ai/src/llama.cpp/build/bin/llama-bench \
  -m /data/ai/models/gguf/gpt-oss-120b-MXFP4.gguf \
  -ngl 999 -fa 1 -r 3 -p 512,2048 -n 128,256

# 3. mesure API (prefill : prompt aléatoire non caché ; decode : n_predict=256), 4 runs
#    llama-server : POST http://127.0.0.1:8090/completion  {"cache_prompt":false,...}
#    ollama       : POST http://127.0.0.1:11434/api/generate {"stream":false,"options":{"num_ctx":4096,...}}

# 4. charge GPU
radeontop        # ou nvtop