Info::IA: Comment télécharger des LLM GGUF
De wiki_pcwiki2
Aller à la navigationAller à la recherche
KEYWORDS: IA, LLM, GGUF, LLAMA.CPP
Le 12/08/2025: J'abandonne ollama qui me semble très restrictif pour les LLM qu'il n'a pas validé. Je suis passé à llama.cpp qui est beaucoup plus léger et surtout beaucoup plus tolérant avec les fichiers .gguf Après avoir un peu cherché, j'ai trouvé comment télécharger des LLM en format GGUF Il faut aller sur https://huggingface.co/TheBloke et interroger sur le nom complet du fichier .guff Exemple de download: https://huggingface.co/TheBloke/deepseek-coder-33B-instruct-GGUF/resolve/main/deepseek-coder-33b-instruct.Q4_K_M.gguf Attention, quand on donne une recherche à TheBloke, il y a un menu déroulant qui s'ouvre, il faut toujours choisir le .GGUF Ensuite, aller dans la page 'Files and versions'