Info::IA::vi: plugin llama

De wiki_pcwiki2
Aller à la navigationAller à la recherche

KEYWORDS: IA, VI, VIM, PLUGIN LLAMA

Le 10/09/2026:
NB: le script est srv18://root/PCStreet.scripts/.pcmakeInstallVimPluginLlama
    Et le LLM: Qwen2.5-Coder-7B-Q8 (via HAL::llama-server)
Remarque: c'est complètement géant !

Complétion de code locale dans Vim avec llama.vim

Cette page décrit l'installation du plugin llama.vim (complétion de code type Copilot, mais 100 % locale via llama.cpp) ainsi que le LLM utilisé et son hébergement.

Principe

llama.vim ajoute de la complétion de code en ligne (FIM, Fill-In-the-Middle) directement dans Vim : le plugin envoie le contexte autour du curseur à un serveur d'inférence local, qui renvoie une suggestion affichée en texte fantôme, acceptable au clavier (Tab).

Contrairement à GitHub Copilot, aucune donnée ne sort du réseau local : le serveur d'inférence tourne sur hal.

Architecture

  • Le modèle (LLM) tourne en permanence sur hal (192.168.1.111), servi par llama-server (llama.cpp, backend Vulkan).
  • Tous les postes/serveurs du réseau local (y compris les VM hébergées sur srv18) pointent le plugin Vim vers http://192.168.1.111:8012/infill.
  • Aucun serveur d'inférence ni téléchargement de modèle n'est nécessaire sur les autres machines : seul le plugin Vim y est installé.

Historique : le service a d'abord tourné sur srv18 (RTX 3060, CUDA), plus rapide brut (~40 tok/s contre ~29 tok/s sur hal). Il a été déplacé sur hal le 10/09/2026 car la VM debian-dvt (hébergée sur srv18, interface réseau en macvtap direct sur enp4s0) ne peut structurellement pas joindre srv18 lui-même : le mode macvtap isole l'hôte de ses propres VM sur la même carte physique, même si elles partagent le même sous-réseau. hal étant une machine physique distincte, ce problème n'existe pas : toutes les VM de srv18 (via LAN ou via le réseau NAT libvirt) et toutes les machines physiques y accèdent normalement.

Dépendances externes

Dépendance Où Rôle
Vim (>= 8.2, idéalement 9.x) chaque poste éditeur hôte du plugin
vim-plug chaque poste gestionnaire de plugins Vim (déjà utilisé pour vim-ai)
git chaque poste récupération du plugin llama.vim
curl chaque poste test de connexion au serveur LLM, téléchargement de vim-plug
llama.cpp (llama-server, build Vulkan) hal uniquement serveur d'inférence exposant l'endpoint /infill
iGPU AMD Radeon 8060S (Strix Halo, gfx1151) + Mesa/RADV + Vulkan hal uniquement accélération de l'inférence, mémoire unifiée (96 Go dédiables)
systemd hal uniquement maintien du serveur LLM actif en permanence (service llama-fim.service)

LLM choisi : Qwen2.5-Coder-7B-Q8_0-GGUF

Modèle retenu : Qwen2.5-Coder-7B, quantisation Q8_0, au format GGUF, récupéré depuis ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF (dépôt Hugging Face officiel packagé par les auteurs de llama.cpp/llama.vim, recommandé dans la documentation du plugin).

Pourquoi ce choix :

  • Les modèles déjà en local sur srv18/hal (deepseek-coder-instruct, codellama-instruct, starcoder2-instruct, gpt-oss-120b...) sont des modèles chat/instruct ou trop gros pour du FIM interactif. Qwen2.5-Coder est le modèle de référence recommandé par le projet llama.vim pour cet usage précis.
  • Taille (~7,7 Go en Q8_0) : cohabite sans problème avec GPT-OSS-120B déjà chargé sur hal (~53 Go de RAM restaient disponibles).
  • Débit mesuré sur hal (llama-bench, Vulkan/RADV gfx1151) : pp512 ≈ 820 tok/s (traitement du prompt), tg128 ≈ 29 tok/s (génération) — largement suffisant pour de la complétion interactive (un bloc de 20-30 tokens arrive en moins d'une seconde).
  • Alternative plus légère si besoin de plus de rapidité : Qwen2.5-Coder-3B ou 1.5B (même famille, même endpoint, il suffit de changer le modèle chargé par le service systemd).

Comparatif avec l'ancien hébergement (srv18, RTX 3060, CUDA) :

srv18 (RTX 3060, CUDA) hal (iGPU Strix Halo, Vulkan)
pp512 (traitement prompt) 2243 tok/s 820 tok/s
tg128 (génération) 40,6 tok/s 28,8 tok/s

hal est ~30 % plus lent en génération, mais reste très confortable ; le gain en simplicité d'architecture (plus de contournement réseau nécessaire) a été jugé prioritaire.

Installation côté serveur LLM (hal uniquement)

hal dispose déjà d'un environnement llama.cpp complet (voir /root/HAL-setup.md sur hal pour le runbook général : build Vulkan, GPU, autres services llama-server.service / llama-reranker.service).

  1. Télécharger le modèle (une fois, via -hf, avec HF_HOME=/data/ai/models/hf) puis créer un symlink stable dans /data/ai/models/gguf/ :
HF_HOME=/data/ai/models/hf /data/ai/src/llama.cpp/build/bin/llama-server \
    -hf ggml-org/Qwen2.5-Coder-7B-Q8_0-GGUF --host 127.0.0.1 --port 8012 -ngl 99 -c 4096
# puis, une fois téléchargé (Ctrl-C pour arrêter ce test) :
ln -s /data/ai/models/hf/hub/models--ggml-org--Qwen2.5-Coder-7B-Q8_0-GGUF/blobs/<hash> \
      /data/ai/models/gguf/qwen2.5-coder-7b-q8_0.gguf
  1. Créer le service systemd /etc/systemd/system/llama-fim.service (calqué sur llama-server.service déjà en place) :
[Unit]
Description=llama.cpp server FIM completion pour llama.vim (Vulkan/RADV, gfx1151)
Documentation=file:/root/HAL-setup.md
After=network-online.target
Wants=network-online.target
RequiresMountsFor=/data/ai

[Service]
Type=exec
User=pchevalier
Group=pchevalier
SupplementaryGroups=render video
WorkingDirectory=/data/ai
Environment=HF_HOME=/data/ai/models/hf
ExecStart=/data/ai/src/llama.cpp/build/bin/llama-server \
    -m /data/ai/models/gguf/qwen2.5-coder-7b-q8_0.gguf \
    --alias qwen2.5-coder-7b-fim \
    --host 192.168.1.111 --port 8012 \
    -ngl 99 -c 4096
Restart=always
RestartSec=3
TimeoutStartSec=300
KillSignal=SIGINT

[Install]
WantedBy=multi-user.target
systemctl daemon-reload
systemctl enable --now llama-fim.service

Sécurité : le serveur écoute sur l'IP LAN de hal (192.168.1.111:8012), sans authentification (pas d'--api-key), comme les deux autres services llama.cpp déjà en place sur cette machine. N'importe quelle machine du réseau local 192.168.1.0/24 peut interroger l'endpoint. À ne pas exposer au-delà du LAN.

Ports déjà utilisés sur hal (à ne pas réutiliser) : 8080/8081 (motion), 8090 (GPT-OSS-120B), 8091 (reranker). 8012 est libre et correspond au port par défaut attendu par llama.vim.

Installation côté client (n'importe quel autre serveur du réseau)

Le script .pcmakeInstallVimPluginLlama (présent dans /root sur srv18, à copier sur la machine cible) installe uniquement le plugin Vim et sa configuration — aucun modèle n'est téléchargé ni exécuté localement, le client interroge toujours hal.

scp srv18:/root/.pcmakeInstallVimPluginLlama /root/
chmod +x /root/.pcmakeInstallVimPluginLlama
/root/.pcmakeInstallVimPluginLlama

Le script est idempotent (ré-exécutable sans dupliquer la config) et :

  1. vérifie que vim et git sont installés ;
  2. teste la connexion à http://192.168.1.111:8012/infill ;
  3. installe vim-plug si absent ;
  4. clone ggml-org/llama.vim dans ~/.vim/plugged/ ;
  5. ajoute le bloc Plug 'ggml-org/llama.vim' et la config g:llama_config dans ~/.vimrc.

Pour pointer vers un autre endpoint (test, environnement différent), surcharger la variable d'environnement avant lancement :

LLAMA_FIM_ENDPOINT="http://192.168.1.111:8012/infill" /root/.pcmakeInstallVimPluginLlama

Configuration Vim (extrait de .vimrc)

call plug#begin('~/.vim/plugged')
Plug 'ggml-org/llama.vim'
call plug#end()

let g:llama_config = {
    \ 'endpoint_fim': 'http://192.168.1.111:8012/infill',
    \ 'n_prefix': 256,
    \ 'n_suffix': 64,
    \ 'n_predict': 128,
    \ 'show_info': 1,
    \ }

Vérification

  1. Ouvrir un fichier de code dans Vim, se placer en mode insertion en fin d'une ligne incomplète (ex. après return n dans une fonction récursive).
  2. Attendre ~1 seconde : une suggestion doit apparaître en texte grisé (ghost text).
  3. Tab accepte la suggestion complète, Shift-Tab une seule ligne, Ctrl-L/Ctrl-H pour naviguer entre plusieurs suggestions.
  4. Avec show_info = 1, un message en bas de l'écran indique le temps de génération (confirme que le plugin dialogue bien avec hal).

Test en ligne de commande (sans Vim), directement contre l'endpoint :

curl -s -X POST http://192.168.1.111:8012/infill \
  -H "Content-Type: application/json" \
  -d '{"input_prefix": "def fibonacci(n):\n    if n <= 1:\n        return n\n    ", "input_suffix": "\n", "n_predict": 32}'

Dépannage

Symptôme Cause probable Solution
Aucune suggestion n'apparaît Serveur hal injoignable ou service arrêté systemctl status llama-fim sur hal ; vérifier que le poste client est bien sur le réseau 192.168.1.0/24
Une VM sur srv18 n'arrive pas à joindre le LLM Elle utilise une interface macvtap directe sur la carte physique de srv18 : ce mode isole l'hôte de ses propres VM, quel que soit l'IP visée sur srv18 Sans objet si le LLM est sur hal (machine physique séparée) ; si un service revient un jour sur srv18, utiliser plutôt le réseau NAT libvirt de la VM (passerelle 192.168.122.1) ou reconfigurer la VM en bridge classique
Plugin non chargé dans Vim vim-plug absent ou PlugInstall jamais lancé relancer .pcmakeInstallVimPluginLlama (clone le plugin directement via git, sans dépendre de PlugInstall)
Suggestions lentes ou décalées Le GPU de hal est aussi sollicité par GPT-OSS-120B ou le reranker vérifier avec systemctl status llama-server llama-reranker llama-fim sur hal

Voir aussi

  • /root/HAL-setup.md sur hal (runbook complet de la machine : BIOS, Vulkan, ollama, GPT-OSS-120B, benchmarks)
  • Ollama srv18 (autre service LLM local, resté sur srv18, port 11434)
  • Deskflow srv18