Info::IA: Comment télécharger des LLM GGUF

De wiki_pcwiki2
Aller à la navigationAller à la recherche

KEYWORDS: IA, LLM, GGUF, LLAMA.CPP

Le 12/08/2025:
J'abandonne ollama qui me semble très restrictif pour les LLM qu'il n'a pas validé.
Je suis passé à llama.cpp qui est beaucoup plus léger et surtout beaucoup plus tolérant avec les fichiers .gguf
Après avoir un peu cherché, j'ai trouvé comment télécharger des LLM en format GGUF
Il faut aller sur https://huggingface.co/TheBloke et interroger sur le nom complet du fichier .guff

Exemple de download: https://huggingface.co/TheBloke/deepseek-coder-33B-instruct-GGUF/resolve/main/deepseek-coder-33b-instruct.Q4_K_M.gguf
Attention, quand on donne une recherche à TheBloke, il y a un menu déroulant qui s'ouvre, il faut toujours choisir le .GGUF
Ensuite, aller dans la page 'Files and versions'