Comment installer llama.cpp le moteur d’inférence open source et gratuit
Je vous avais parlé de Ollama, par le passé, mais Ollama utilise un moteur d’inférence qui est llama.cpp, le vrai; Ollama n’est qu’une interface visuelle construite par dessus llama.cpp .
Et pour des questions d eperformance, je vous conseille de le prendre plutôt que d’utiliser Ollama qui est plutôt pour un public larger. Entant que codeur, il faut utilise llama.cpp.
Installation de llama.cpp
Allez d’abord le télécharger, en ce qui me concerne je suis sous Windows, donc je vais utiliser WSL. Il faut le savoir en matière d’intelligence artificielle il vaut mieux utiliser Linux.
Il existe plein de sites qui permettent de le télécharger, la source officielle de llama.cpp, mais aussi ce site qui explique bien comment il faut faire pour installer llama.cpp.
Installer llama.cpp n’est que la première partie du travail, il faudra après son installation télécharger les modèles LLM opensource.
Il y a 2 options pour installer llama.cpp sous Windows, la première option nécessite d’avoir Visual Studio (et non VS Code), la seconde pour moi est plus simple , est d’installer sous WSL ce qui nous ramène à un système Linux (souvenez vous en matière d’IA Linux est bien mieux).
On part sur l’option 2 avec WSL, si vous ne l’avez pas encore installé :
wsl --install Puis: sudo apt update sudo apt install git build-essential cmake puis clonez le projet llamacpp: git clone https://github.com/ggerganov/llama.cpp cd llama.cpp cmake -B build cmake --build build puis attendez un moment (le processus de compilation est assez lent) Voilà vous êtes prêt maintenant !
Les modèles LLM GGUF
Ce sont des modèles faits pour tourner en local, Hugging Face en héberges milliers de tous type : textuel, image, vidéo.
Vous devez avoir une carte graphique au minimum de 8GB de VRAM, ce qui vous permet d’avoir des modèles génératifs qui tiennent un peu la route. Moi j’ai une carte de 16 GB, donc je peux avoir des modèles un peu plus grand. Mais alors il faut s’attarder sur la notion de paramètre dans les modèles LLM. Plus le nombre de paramètres est grand plus le modèle est performant normalement.
Les modèles LLM non GGUF, les modèles d’origine qui tournent dans les info cloud sont au format .safetensors, .bin ou .pth. Il faut beaucoup de VRAM (volatil RAM la RAM des cartes graphique à la différence de la RAM du CPU)pour les faire tourner. La configuration est plus complexe avec des ichier config/tokenizer, setup CUDA pénible parfois.
Le format GGUF résout tous ces problèmes ça tombe bien pour nous c’est plus facile à mettre en oeuvre. Un modèle LLM de 500B (500 milliards de paramètre en 8 bits) nécessite 550 giga de RAM. Nous on va faire tourner des modèle 8 bits plus petits, à 8B, 12B, en 8 bits, donc ma carte 5060 à 16GB de VRAM suffit.
Pour savoir combien de Giga de VRAM il faut pour faire tourner un modèle 8bit, 1 milliard (1B B comme billions milliard en anglais) de paramètre nécessite 1 giga de VRAM. Il existe des modèle dégradé en 4 bits, dit des modèle quantizé, en passant de 8 bits à 4 bits, on divise par deux la taille des modèle, donc ma carte de 16 GB de VRAM peut faire tourner un modèle 32B en 4 bits.
Les modèles quantizés sont moins performant mais pas de moitié, en passant de 8 bits à 4 bit, on dégrade de 30% les performances d’inférence.
GGUF met dans un seul fichier les poids du modèle, le tokenizer, les metadatas, et paramètres d’inférence dans un seul fichier, c’est plus facile à mettre en oeuvre. Voir cet article plus en détail sur ces propriétés dans le GGUF.
Télécharger un modèle LLM
Si vous avez suivi l’installation dans WSL, votre installation de llama.cpp doit se trouver dans le répertoire suivant :
/mnt/c/Users/<user>/llama.cpp/build/bin/ et dans ce répertoire vous avez llama-cli, et llama-server Il est conseillé d'installer huggingface-hub pip install huggingface-hub et ensuite on télécharge un fichier GGUF (le LLM), avec 16 GB un des meilleur modèle est celui de Mistral 7B, c'est un peu décevant mais si on télécharge un modèle plus grand que la VRAM (16GB), ça plante :$ Mais avant on vérifie que python et pip sont bien ceux de WSL which python3 which pip3 si l'une des commande retourne */pyenv-win/* dans le chemin, c'est qu'on n'est pas 100% Linux, dans mon cas c'était pip qui était pas Linux, mais Python était bien Linux on doit faire cette commande pour installer pip : python3 -m pip install huggingface-hub --break-system-packages si la lligne ci-dessus ne marche pas il faut installer pip sudo apt install python3-pip puis refaire : python3 -m pip install huggingface-hub --break-system-packages
Téléchargement du modèle Mistral
Vérifiez que le répertoire ~/models existe sinon faite
mkdir -p ~/models
wget https://huggingface.co/bartowski/Mistral-7B-Instruct-v0.3-GGUF/resolve/main/Mistral-7B-Instruct-v0.3-Q8_0.gguf \
-O ~/models/mistral-7b-q8.gguf
Ensuite une fois installé lancez :
~/llama.cpp/build/bin/llama-server \
-m ~/models/mistral-7b-q8.gguf \
-c 4096 \
--port 8080
Et dans un autre terminal faites :
curl http://localhost:8080/health
vous devriez avoir en réponse :
{"status":"ok"}
Comment fait on pour avoir une interface friendly?
Il va falloir installer par exemple OpenWebUI, mais je trouve que c’est plus facile d’installer OpenWebUI dans un Docker aussi, je suppose que vous avez installé Docker Desktop:
docker run -d \ --name open-webui \ --add-host=host.docker.internal:host-gateway \ -e OPENAI_API_BASE_URL=http://host.docker.internal:8080/v1 \ -e OPENAI_API_KEY=fake \ -p 3000:8080 \ ghcr.io/open-webui/open-webui:main Ensuite on ouvre le navigateur au http://localhost:3000 (il faut avoir lancé llama-server. une fosi le docker en place docker logs open-webui pour le monitorer, quand on voit Uvicorn running, on ouvre sur l'hôte http://localhost:3000