Info::IA::vi: plugin llama
KEYWORDS: IA, VI, VIM, PLUGIN LLAMA
Le 10/09/2026:
NB: le script est srv18://root/PCStreet.scripts/.pcmakeInstallVimPluginLlama
Et le LLM: Qwen2.5-Coder-7B-Q8 (via HAL::llama-server)
Remarque: c'est complètement géant !
Complétion de code locale dans Vim avec llama.vim
Cette page décrit l'installation du plugin llama.vim (complétion de code type Copilot, mais 100 % locale via llama.cpp) ainsi que le LLM utilisé et son hébergement.
Principe
llama.vim ajoute de la complétion de code en ligne (FIM, Fill-In-the-Middle) directement dans Vim : le plugin envoie le contexte autour du curseur à un serveur d'inférence local, qui renvoie une suggestion affichée en texte fantôme, acceptable au clavier (Tab).
Contrairement à GitHub Copilot, aucune donnée ne sort du réseau local : le serveur d'inférence tourne sur hal.
Architecture
- Le modèle (LLM) tourne en permanence sur hal (192.168.1.111), servi par
llama-server(llama.cpp, backend Vulkan). - Tous les postes/serveurs du réseau local (y compris les VM hébergées sur srv18) pointent le plugin Vim vers
http://192.168.1.111:8012/infill. - Aucun serveur d'inférence ni téléchargement de modèle n'est nécessaire sur les autres machines : seul le plugin Vim y est installé.
Historique : le service a d'abord tourné sur srv18 (RTX 3060, CUDA), plus rapide brut (~40 tok/s contre ~29 tok/s sur hal). Il a été déplacé sur hal le 10/09/2026 car la VM debian-dvt (hébergée sur srv18, interface réseau en macvtap direct sur enp4s0) ne peut structurellement pas joindre srv18 lui-même : le mode macvtap isole l'hôte de ses propres VM sur la même carte physique, même si elles partagent le même sous-réseau. hal étant une machine physique distincte, ce problème n'existe pas : toutes les VM de srv18 (via LAN ou via le réseau NAT libvirt) et toutes les machines physiques y accèdent normalement.
Dépendances externes
| Dépendance | Où | Rôle |
|---|---|---|
| Vim (>= 8.2, idéalement 9.x) | chaque poste | éditeur hôte du plugin |
| vim-plug | chaque poste | gestionnaire de plugins Vim (déjà utilisé pour vim-ai) |
| git | chaque poste | récupération du plugin llama.vim |
| curl | chaque poste | test de connexion au serveur LLM, téléchargement de vim-plug |
| llama.cpp (llama-server, build Vulkan) | hal uniquement | serveur d'inférence exposant l'endpoint /infill
|
| iGPU AMD Radeon 8060S (Strix Halo, gfx1151) + Mesa/RADV + Vulkan | hal uniquement | accélération de l'inférence, mémoire unifiée (96 Go dédiables) |
| systemd | hal uniquement | maintien du serveur LLM actif en permanence (service llama-fim.service)
|
LLM choisi : Qwen2.5-Coder-7B-Q8_0-GGUF
Modèle retenu : Qwen2.5-Coder-7B, quantisation Q8_0, au format GGUF, récupéré depuis ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF (dépôt Hugging Face officiel packagé par les auteurs de llama.cpp/llama.vim, recommandé dans la documentation du plugin).
Pourquoi ce choix :
- Les modèles déjà en local sur srv18/hal (deepseek-coder-instruct, codellama-instruct, starcoder2-instruct, gpt-oss-120b...) sont des modèles chat/instruct ou trop gros pour du FIM interactif. Qwen2.5-Coder est le modèle de référence recommandé par le projet llama.vim pour cet usage précis.
- Taille (~7,7 Go en Q8_0) : cohabite sans problème avec GPT-OSS-120B déjà chargé sur hal (~53 Go de RAM restaient disponibles).
- Débit mesuré sur hal (
llama-bench, Vulkan/RADV gfx1151) : pp512 ≈ 820 tok/s (traitement du prompt), tg128 ≈ 29 tok/s (génération) — largement suffisant pour de la complétion interactive (un bloc de 20-30 tokens arrive en moins d'une seconde). - Alternative plus légère si besoin de plus de rapidité : Qwen2.5-Coder-3B ou 1.5B (même famille, même endpoint, il suffit de changer le modèle chargé par le service systemd).
Comparatif avec l'ancien hébergement (srv18, RTX 3060, CUDA) :
| srv18 (RTX 3060, CUDA) | hal (iGPU Strix Halo, Vulkan) | |
|---|---|---|
| pp512 (traitement prompt) | 2243 tok/s | 820 tok/s |
| tg128 (génération) | 40,6 tok/s | 28,8 tok/s |
hal est ~30 % plus lent en génération, mais reste très confortable ; le gain en simplicité d'architecture (plus de contournement réseau nécessaire) a été jugé prioritaire.
Installation côté serveur LLM (hal uniquement)
hal dispose déjà d'un environnement llama.cpp complet (voir /root/HAL-setup.md sur hal pour le runbook général : build Vulkan, GPU, autres services llama-server.service / llama-reranker.service).
- Télécharger le modèle (une fois, via
-hf, avecHF_HOME=/data/ai/models/hf) puis créer un symlink stable dans/data/ai/models/gguf/:
HF_HOME=/data/ai/models/hf /data/ai/src/llama.cpp/build/bin/llama-server \
-hf ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF --host 127.0.0.1 --port 8012 -ngl 99 -c 4096
# puis, une fois téléchargé (Ctrl-C pour arrêter ce test) :
ln -s /data/ai/models/hf/hub/models--ggml-org--Qwen2.5-Coder-7B-Q8_0-GGUF/blobs/<hash> \
/data/ai/models/gguf/qwen2.5-coder-7b-q8_0.gguf
- Créer le service systemd
/etc/systemd/system/llama-fim.service(calqué surllama-server.servicedéjà en place) :
[Unit]
Description=llama.cpp server FIM completion pour llama.vim (Vulkan/RADV, gfx1151)
Documentation=file:/root/HAL-setup.md
After=network-online.target
Wants=network-online.target
RequiresMountsFor=/data/ai
[Service]
Type=exec
User=pchevalier
Group=pchevalier
SupplementaryGroups=render video
WorkingDirectory=/data/ai
Environment=HF_HOME=/data/ai/models/hf
ExecStart=/data/ai/src/llama.cpp/build/bin/llama-server \
-m /data/ai/models/gguf/qwen2.5-coder-7b-q8_0.gguf \
--alias qwen2.5-coder-7b-fim \
--host 192.168.1.111 --port 8012 \
-ngl 99 -c 4096
Restart=always
RestartSec=3
TimeoutStartSec=300
KillSignal=SIGINT
[Install]
WantedBy=multi-user.target
systemctl daemon-reload
systemctl enable --now llama-fim.service
Sécurité : le serveur écoute sur l'IP LAN de hal (192.168.1.111:8012), sans authentification (pas d'--api-key), comme les deux autres services llama.cpp déjà en place sur cette machine. N'importe quelle machine du réseau local 192.168.1.0/24 peut interroger l'endpoint. À ne pas exposer au-delà du LAN.
Ports déjà utilisés sur hal (à ne pas réutiliser) : 8080/8081 (motion), 8090 (GPT-OSS-120B), 8091 (reranker). 8012 est libre et correspond au port par défaut attendu par llama.vim.
Installation côté client (n'importe quel autre serveur du réseau)
Le script .pcmakeInstallVimPluginLlama (présent dans /root sur srv18, à copier sur la machine cible) installe uniquement le plugin Vim et sa configuration — aucun modèle n'est téléchargé ni exécuté localement, le client interroge toujours hal.
scp srv18:/root/.pcmakeInstallVimPluginLlama /root/
chmod +x /root/.pcmakeInstallVimPluginLlama
/root/.pcmakeInstallVimPluginLlama
Le script est idempotent (ré-exécutable sans dupliquer la config) et :
- vérifie que
vimetgitsont installés ; - teste la connexion à
http://192.168.1.111:8012/infill; - installe vim-plug si absent ;
- clone
ggml-org/llama.vimdans~/.vim/plugged/; - ajoute le bloc
Plug 'ggml-org/llama.vim'et la configg:llama_configdans~/.vimrc.
Pour pointer vers un autre endpoint (test, environnement différent), surcharger la variable d'environnement avant lancement :
LLAMA_FIM_ENDPOINT="http://192.168.1.111:8012/infill" /root/.pcmakeInstallVimPluginLlama
Configuration Vim (extrait de .vimrc)
call plug#begin('~/.vim/plugged')
Plug 'ggml-org/llama.vim'
call plug#end()
let g:llama_config = {
\ 'endpoint_fim': 'http://192.168.1.111:8012/infill',
\ 'n_prefix': 256,
\ 'n_suffix': 64,
\ 'n_predict': 128,
\ 'show_info': 1,
\ }
Vérification
- Ouvrir un fichier de code dans Vim, se placer en mode insertion en fin d'une ligne incomplète (ex. après
return ndans une fonction récursive). - Attendre ~1 seconde : une suggestion doit apparaître en texte grisé (ghost text).
Tabaccepte la suggestion complète,Shift-Tabune seule ligne,Ctrl-L/Ctrl-Hpour naviguer entre plusieurs suggestions.- Avec
show_info = 1, un message en bas de l'écran indique le temps de génération (confirme que le plugin dialogue bien avec hal).
Test en ligne de commande (sans Vim), directement contre l'endpoint :
curl -s -X POST http://192.168.1.111:8012/infill \
-H "Content-Type: application/json" \
-d '{"input_prefix": "def fibonacci(n):\n if n <= 1:\n return n\n ", "input_suffix": "\n", "n_predict": 32}'
Dépannage
| Symptôme | Cause probable | Solution |
|---|---|---|
| Aucune suggestion n'apparaît | Serveur hal injoignable ou service arrêté | systemctl status llama-fim sur hal ; vérifier que le poste client est bien sur le réseau 192.168.1.0/24
|
| Une VM sur srv18 n'arrive pas à joindre le LLM | Elle utilise une interface macvtap directe sur la carte physique de srv18 : ce mode isole l'hôte de ses propres VM, quel que soit l'IP visée sur srv18 | Sans objet si le LLM est sur hal (machine physique séparée) ; si un service revient un jour sur srv18, utiliser plutôt le réseau NAT libvirt de la VM (passerelle 192.168.122.1) ou reconfigurer la VM en bridge classique
|
| Plugin non chargé dans Vim | vim-plug absent ou PlugInstall jamais lancé |
relancer .pcmakeInstallVimPluginLlama (clone le plugin directement via git, sans dépendre de PlugInstall)
|
| Suggestions lentes ou décalées | Le GPU de hal est aussi sollicité par GPT-OSS-120B ou le reranker | vérifier avec systemctl status llama-server llama-reranker llama-fim sur hal
|
Voir aussi
/root/HAL-setup.mdsur hal (runbook complet de la machine : BIOS, Vulkan, ollama, GPT-OSS-120B, benchmarks)- Ollama srv18 (autre service LLM local, resté sur srv18, port 11434)
- Deskflow srv18