Aller au contenu

Trace install tas - Ollama

De Loic Wiki
Version datée du 17 octobre 2026 à 10:14 par Admin (discussion | contributions) (Chemin Quadlet NVIDIA désactivé)

Trace install tas - Ollama

Rôle

API locale de modèles LLM avec deux instances distinctes :

  • une instance AMD/ROCm sur la Radeon RX 7900
  • une instance NVIDIA/CUDA sur la GeForce RTX 3070

Accès

Instance AMD / ROCm

Instance NVIDIA / CUDA

  • Local : http://10.8.0.1:11435
  • Depuis le terminal local : `OLLAMA_HOST=http://127.0.0.1:11435`
  • État au 2026-10-17 : lancement désactivé ; le port ne répond pas.
  • Pas d'exposition publique dédiée documentée à ce stade

Ports

  • 11434/tcp : serveur Ollama AMD / ROCm
  • 11435/tcp : port prévu pour Ollama NVIDIA / CUDA ; service actuellement désactivé
  • 25434/tcp : proxy public Caddy vers l'instance AMD/ROCm, protégé par basicauth

Exécution / runtime

AMD / ROCm

  • Service systemd user généré : `ollama-rocm.service`
  • Conteneur : `ollama_roc`
  • Image : `docker.io/ollama/ollama:rocm`
  • Devices : `/dev/kfd`, `/dev/dri`

NVIDIA / CUDA

  • État au 2026-10-17 : désactivé. Le service entrait en boucle de redémarrages en échec (hook NVIDIA, code 1). Le Quadlet a été renommé en `/home/loic/.config/containers/systemd/ollama-nvidia.container.disabled-2026-10-17T11-12-14+0200` ; la sauvegarde est `/home/loic/backups/ollama/ollama-nvidia.container.before-disable-2026-10-17T11-12-14+0200.bak`. Le service est `not-found` après rechargement systemd et aucun conteneur `ollama_nv` ne subsiste.
  • Point de vigilance — 2026-10-03 : l'image est en tag :latest, en contradiction avec la doctrine de tag explicite appliquée aux autres services de tas. Combiné à AutoUpdate=registry, un redémarrage peut changer la version sans décision ni traçabilité. Geler en remplaçant par un tag versionné après avoir relevé le digest courant (voir la section Procédure de mise à jour).
  • Nom du service Quadlet associé (non généré tant que le fichier reste désactivé) : `ollama-nvidia.service`
  • Conteneur : `ollama_nv`
  • Image : `docker.io/ollama/ollama:latest`
  • Intégration GPU : hook OCI NVIDIA rootless (et non injection CDI directe)
  • Mécanisme effectif déclaré dans le Quadlet :
  • PodmanArgs=--hooks-dir=/home/loic/.config/containers/oci-hooks-nvidia-rootless --cgroups=disabled
  • Variables : NVIDIA_VISIBLE_DEVICES=all, NVIDIA_DRIVER_CAPABILITIES=compute,utility, SecurityLabelDisable=true

Chemins de configuration

  • `/home/loic/.config/containers/systemd/ollama-rocm.container`
  • `/home/loic/.config/containers/systemd/ollama-nvidia.container.disabled-2026-10-17T11-12-14+0200` (Quadlet désactivé)
  • `/etc/caddy/Caddyfile`
  • `/home/loic/.bashrc` (alias CLI)
  • `/home/loic/upgrade/ollama-dual-gpu-plan.md`

Volumes / persistance

  • Stockage modèles partagé entre les deux instances : `/media/loic/nem/ollama`
  • Montage conteneur : `/media/loic/nem/ollama -> /root/.ollama`

Dépendances

  • Caddy 25434 -> 11434 avec basicauth pour l'instance AMD/ROCm
  • NVIDIA driver pour la RTX 3070 (carte vérifiée : NVIDIA GeForce RTX 3070)
  • Hook OCI NVIDIA rootless : /home/loic/.config/containers/oci-hooks-nvidia-rootless
  • clients comme Open WebUI

Le fichier /var/run/cdi/nvidia.yaml existe sur la machine mais n'est pas le chemin effectif : le Quadlet NVIDIA passe par --hooks-dir. Un diagnostic fondé sur nvidia-ctk cdi list décrit donc un mécanisme qui ne pilote plus ce conteneur.

Remarques

  • L'instance NVIDIA n'a fonctionné correctement qu'après mise en place de NVIDIA Container Toolkit et CDI.
  • Le stockage de modèles est partagé entre les deux serveurs pour éviter les doublons disque.
  • Par prudence, éviter les `ollama pull` simultanés sur les deux instances.
  • Faire préférentiellement les opérations d'écriture (`pull`, `rm`, création de modèles) sur une seule instance à la fois.
  • Contrainte plus large que `pull` : ne pas lancer une génération sur AMD et une sur NVIDIA en même temps. Le magasin étant partagé, llama.cpp verrouille le fichier de modèle et la seconde génération attend ou échoue. Le magasin fait 2,8 To au 2026-10-03.
  • Le proxy public documenté actuellement cible uniquement l'instance AMD/ROCm.

Utilisation CLI

Sélection explicite du serveur

Pour cibler un serveur particulier depuis le terminal local, utiliser `OLLAMA_HOST`.

Exemples :

OLLAMA_HOST=http://127.0.0.1:11434 ollama list
OLLAMA_HOST=http://127.0.0.1:11434 ollama run qwen3

OLLAMA_HOST=http://127.0.0.1:11435 ollama list
OLLAMA_HOST=http://127.0.0.1:11435 ollama run qwen3

Alias shell

Alias ajoutés dans `/home/loic/.bashrc` :

alias ollama-amd='OLLAMA_HOST=http://127.0.0.1:11434 ollama'
alias ollama-nvidia='OLLAMA_HOST=http://127.0.0.1:11435 ollama'

Exemples :

ollama-amd list
ollama-amd run qwen3

ollama-nvidia list
ollama-nvidia run qwen3

Exemples de tests

Test basique de disponibilité

curl http://127.0.0.1:11434/api/tags
curl http://127.0.0.1:11435/api/tags

Questions de test

OLLAMA_HOST=http://127.0.0.1:11434 ollama run qwen3 "Donne-moi un résumé en 3 phrases de la différence entre ROCm et CUDA."
OLLAMA_HOST=http://127.0.0.1:11435 ollama run qwen3 "Donne-moi un résumé en 3 phrases de la différence entre ROCm et CUDA."
OLLAMA_HOST=http://127.0.0.1:11434 ollama run qwen3 "Écris un haïku sur les GPU."
OLLAMA_HOST=http://127.0.0.1:11435 ollama run qwen3 "Écris un haïku sur les GPU."

Vérifier le GPU utilisé côté NVIDIA

Les logs de `ollama-nvidia.service` doivent montrer une détection CUDA du type :

  • `library=CUDA`
  • `description="NVIDIA GeForce RTX 3070"`

Supervision / diagnostic

État des services

systemctl --user status ollama-rocm.service
systemctl --user status ollama-nvidia.service

Journaux

journalctl --user -u ollama-rocm.service -n 100 --no-pager
journalctl --user -u ollama-nvidia.service -n 100 --no-pager

Vérifier la carte NVIDIA

nvidia-smi
watch -n 1 nvidia-smi

Vérifier le chemin d'intégration GPU réellement utilisé

# Hook OCI rootless (chemin effectif du Quadlet NVIDIA)
ls -d /home/loic/.config/containers/oci-hooks-nvidia-rootless
grep -n 'hooks-dir' /home/loic/.config/containers/systemd/ollama-nvidia.container

# Le spec CDI existe sur la machine mais n'est pas injecte par ce Quadlet
ls /var/run/cdi/nvidia.yaml

Conteneurs actifs

podman ps | grep -E 'ollama_roc|ollama_nv'

Contrôler la réponse API

curl http://127.0.0.1:11434/api/tags
curl http://127.0.0.1:11435/api/tags

Données / emplacements à sauvegarder

  • `/media/loic/nem/ollama`
  • `/home/loic/.config/containers/systemd/ollama-rocm.container`
  • `/home/loic/.config/containers/systemd/ollama-nvidia.container.disabled-2026-10-17T11-12-14+0200` (Quadlet désactivé)
  • `/etc/caddy/Caddyfile`
  • `/home/loic/.bashrc`

Sauvegarde

  • Sauvegarder le répertoire de modèles partagé `/media/loic/nem/ollama`.
  • Sauvegarder les deux services systemd user Ollama.
  • Sauvegarder la configuration Caddy liée à `25434`.

Restauration

  • Restaurer `/media/loic/nem/ollama`.
  • Restaurer les fichiers systemd user `ollama-rocm.service` et `ollama-nvidia.service`.
  • Recharger systemd user puis relancer les services :
systemctl --user daemon-reload
systemctl --user restart ollama-rocm.service
systemctl --user restart ollama-nvidia.service


Procédure de mise à jour — ROCm et client CLI

La procédure ci-dessous met à jour uniquement l’instance AMD/ROCm. Elle ne redémarre pas ollama-nvidia.service et ne modifie pas les modèles.

Mise à jour du conteneur ROCm

# Sauvegarder la définition Quadlet avant modification éventuelle
STAMP=$(date +%Y%m%d-%H%M%S)
mkdir -p /home/loic/backups/ollama
cp -p /home/loic/.config/containers/systemd/ollama-rocm.container \
  /home/loic/backups/ollama/ollama-rocm.container.before-update-${STAMP}.bak

# Télécharger l’image flottante ROCm puis recréer le conteneur
podman pull docker.io/ollama/ollama:rocm
systemctl --user daemon-reload
systemctl --user restart ollama-rocm.service

# Contrôler le service et la version API
systemctl --user is-active ollama-rocm.service
podman ps --filter name=ollama_roc
curl -fsS http://127.0.0.1:11434/api/version
curl -fsS http://127.0.0.1:11434/api/tags

Le 14 août 2026, cette procédure a fait passer l’API ROCm de 0.32.0 à 0.32.9. Au 3 octobre 2026, les deux instances répondaient en 0.35.1. Le 17 octobre, l’API ROCm 11434 répond en 0.40.5. L’instance NVIDIA 11435 n’était pas joignable ; sa version n’a pas été relevée, puis son lancement a été désactivé après constat de la boucle de redémarrages en échec (voir la trace datée ci-dessous). Le journal confirme la détection ROCm de la Radeon RX 7900 XTX.

Mise à jour du client CLI utilisateur

Le client réellement sélectionné par le PATH est /home/loic/.local/bin/ollama. Le binaire système /usr/bin/ollama reste distinct ; sa version client vérifiée le 3 octobre était 0.32.9. Toujours distinguer version client et version serveur dans la sortie de ollama --version.

Le 4 octobre 2026 à 23:57, le client utilisateur était en 0.34.3. Le 5 octobre à 00:00, il a été mis à jour vers 0.35.1 (release officielle v0.35.1), puis testé contre l’instance ROCm sur le port 11434. L’empreinte ci-dessous est le digest SHA-256 publié par GitHub pour l’asset officiel.

set -euo pipefail
VERSION=v0.35.1
EXPECTED_SHA256=9fcd79ac4575b2bd31b992eee18b1000c8ad126b451627c8f8cd091714cfbb10
TMP=$(mktemp -d)
trap 'rm -rf "$TMP"' EXIT
ARCHIVE="$TMP/ollama-linux-amd64.tar.zst"
URL="https://github.com/ollama/ollama/releases/download/${VERSION}/ollama-linux-amd64.tar.zst"

# Télécharger et vérifier l’archive avant extraction
curl -fL --retry 3 --connect-timeout 20 "$URL" -o "$ARCHIVE"
printf '%s  %s\n' "$EXPECTED_SHA256" "$ARCHIVE" | sha256sum -c -
zstd -t "$ARCHIVE"

# Extraire uniquement le client de l’archive vérifiée
tar --use-compress-program=zstd -xOf "$ARCHIVE" bin/ollama > "$TMP/ollama.new"
chmod 0755 "$TMP/ollama.new"
OLLAMA_HOST=http://127.0.0.1:1 "$TMP/ollama.new" --version

# Backup vérifié, installation sur le même système de fichiers, remplacement atomique
STAMP=$(date +%Y-%m-%dT%H-%M-%S%z)
BACKUP_DIR=/home/loic/backups/ollama
BIN=/home/loic/.local/bin/ollama
mkdir -p "$BACKUP_DIR"
cp -a "$BIN" "$BACKUP_DIR/ollama-client-user.bak-$STAMP"
cmp -s "$BIN" "$BACKUP_DIR/ollama-client-user.bak-$STAMP"
STAGE=/home/loic/.local/bin/.ollama.new-$STAMP
install -m 0755 "$TMP/ollama.new" "$STAGE"
mv -f "$STAGE" "$BIN"

# Vérifier le client contre l’instance ROCm et l’accès à ses modèles
hash -r
OLLAMA_HOST=http://127.0.0.1:11434 ollama --version
OLLAMA_HOST=http://127.0.0.1:11434 ollama list

Résultat réel le 5 octobre 2026 : client /home/loic/.local/bin/ollama en 0.35.1, API ROCm 11434 en 0.35.1, commande ollama list : 100 lignes de sortie. Ancien binaire sauvegardé dans /home/loic/backups/ollama/ollama-client-user.bak-2026-10-05T00-00-29+0200.

Mise à jour et vérification du 17 octobre 2026 : client /home/loic/.local/bin/ollama mis à niveau de 0.35.1 à 0.40.5 (release officielle v0.40.5) pour l’aligner sur l’API ROCm 11434. SHA-256 publié par GitHub pour ollama-linux-amd64.tar.zst : dc5eabc292f9949546c90a97c820f924b035e05243b0de13c7f366182562169c. L’archive a passé sha256sum -c et zstd -t ; seul bin/ollama a été extrait. La sauvegarde vérifiée de l’ancien exécutable est /home/loic/backups/ollama/ollama-client-user.bak-2026-10-17T06-55-58+0200. Après remplacement atomique, le client annonce 0.40.5, l’API ROCm renvoie {"version":"0.40.5"} et ollama list réussit. Pendant ce contrôle, ollama_roc était actif, ollama-nvidia.service était activating et le port localhost 11435 refusait la connexion ; la version NVIDIA reste à vérifier.

Désactivation du lancement NVIDIA le 17 octobre 2026 : arrêt de la boucle de redémarrages, sauvegarde vérifiée /home/loic/backups/ollama/ollama-nvidia.container.before-disable-2026-10-17T11-12-14+0200.bak, puis renommage du Quadlet en /home/loic/.config/containers/systemd/ollama-nvidia.container.disabled-2026-10-17T11-12-14+0200. Après systemctl --user daemon-reload, ollama-nvidia.service est not-found et aucun conteneur ollama_nv n’est présent. Pour réactiver ultérieurement, remettre le fichier avec le suffixe .container, recharger systemd utilisateur, puis démarrer le service.

Pour remplacer également le binaire système, après validation et avec un compte root :

sudo cp -p /usr/bin/ollama /home/loic/backups/ollama/ollama-client.system.before-update-$(date +%Y%m%d-%H%M%S).bin
sudo install -o root -g root -m 0755 /home/loic/.local/bin/ollama /usr/bin/ollama
/usr/bin/ollama --version

Retour arrière

# Revenir à l’image actuellement utilisée avant le pull : utiliser son digest
podman image ls --digests docker.io/ollama/ollama

# Restaurer le Quadlet si nécessaire, puis relancer
systemctl --user daemon-reload
systemctl --user restart ollama-rocm.service

# Désactiver le client utilisateur pour revenir au client système
mv /home/loic/.local/bin/ollama /home/loic/.local/bin/ollama.disabled
hash -r
/usr/bin/ollama --version

État GPU et inventaire des modèles — 2026-10-03

Cartes réellement présentes

  • AMD : Card series: Navi 31 [Radeon RX 7900 XT/7900 XTX/7900M] (vérifié rocm-smi)
  • NVIDIA : NVIDIA GeForce RTX 3070 (vérifié nvidia-smi)

Modèles recently installes (store partage, 2,8 To)

Installés depuis l'état Qwen3.8 du 2026-08-19 :

  • ornith-1.5:35b — 22 Go
  • clef-flash:9b-q8_0 — 10 Go
  • tev1:4b-bf16 — 8,4 Go
  • qwen3.8-q4-256k:latest — 17 Go (précisément Q4_K_M)
  • ornith-1.5:9b — 6,6 Go
  • Maternion/mimo-v2.6:9b-thinking-q8_0 et Maternion/mimo-v2.6:9b-instruct-q8_0 — 10 Go chacun

Compatibilité chat et tool calling

Testé via l'API OpenAI-compatible le 2026-10-03 :

Modèle Chat Tool calling Remarque
qwen3.8-q4-256k:latest oui oui reasoning model, réponse lente
qwen3.8:27b-q4_K_M oui oui
ornith-1.5:9b oui oui 4x plus réactif que qwen3.8-q4
clef-flash:9b-q8_0 non — Exclu : Ollama répond does not support chat

Ces modèles sont des reasoning models : la réflexion occupe d'abord le champ reasoning, la réponse arrive ensuite dans content. Un budget max_tokens trop serré est consommé par la réflexion et content reste vide — le modèle paraît alors muet alors qu'il a raisonné. Tester avec max_tokens >= 600. Le tool calling n'est pas affecté par ce phénomène et fonctionne même avec un budget court.

Consommation par Hermes

Hermes est branché sur l'instance AMD/ROCm via deux alias :

  • tas-rocm → qwen3.8-q4-256k:latest
  • tas-rocm-fast → ornith-1.5:9b (≈16 s contre ≈1 min 13 s)

Configuration : ~/.hermes/config.yaml, section model:, clés aliases et ollama_num_ctx (65536, volontairement inférieur aux 262144 du Quadlet pour tenir en VRAM). Utilisation : /model tas-rocm-fast ou /model tas-rocm.

Précaution : ces alias pointent sur 11434. Ne pas lancer en parallèle une génération Hermes sur AMD et une autre sur 11435 (voir Remarques).

Maintenance documentaire

Lors d'un changement de port, de proxy public, de stockage des modèles, de pilote GPU, de toolkit NVIDIA, d'alias shell ou d'architecture AMD/NVIDIA, mettre à jour cette page et la page centrale Trace install tas.

Trace documentaire

Cette page fait partie de Trace install tas.\n\n== État Quadlet confirmé — 2026-07-25 ==

Les deux instances Ollama sont définies par Quadlet :

  • ROCm : ollama-rocm.service, conteneur ollama_roc, port 11434, image docker.io/ollama/ollama:rocm, API vérifiée en version 0.35.1 le 3 octobre 2026
  • NVIDIA : ollama-nvidia.service, conteneur ollama_nv, port 11435, image docker.io/ollama/ollama:latest
  • Fichiers : /home/loic/.config/containers/systemd/ollama-rocm.container et ollama-nvidia.container
  • Modèles partagés : /media/loic/nem/ollama

Au 3 octobre 2026, les deux instances répondaient en 0.35.1. Au contrôle du 17 octobre, seule l’API ROCm sur 11434 a pu être vérifiée, en 0.40.5 ; le port local 11435 refusait la connexion, donc la version NVIDIA actuelle reste inconnue. Le tag :rocm est flottant ; pour figer une version, comparer son digest à un tag versionné tel que :0.32.3-rocm puis modifier le Quadlet.

L'instance NVIDIA reste dépendante de la cohérence entre le pilote noyau, les bibliothèques NVIDIA, le toolkit et le CDI.

Qwen3.8 (2026-08-19)

Modèles installés dans l’instance AMD/ROCm :

  • `qwen3.8-q4-256k` : modèle officiel Qwen3.8 27B, Q4_K_M, environ 17 Go.
  • `qwen3.8-q8-256k` : modèle officiel Qwen3.8 27B, Q8_0, environ 29 Go.
  • `qwen3.8-abliterated-q4-256k` : `huihui_ai/Qwen3.8-abliterated:27b`, variante communautaire Q4, environ 17 Go.

Les trois modèles configurés utilisent `num_ctx=262144` et `temperature=0.2`. La variante abliterated n’est pas une publication officielle Alibaba/Ollama et peut avoir un comportement de sûreté différent.

Le Quadlet ROCm définit également `OLLAMA_CONTEXT_LENGTH=262144`, `OLLAMA_FLASH_ATTENTION=1`, `OLLAMA_KV_CACHE_TYPE=q8_0`, `OLLAMA_NUM_PARALLEL=1`, `OLLAMA_MAX_LOADED_MODELS=1` et `OLLAMA_LOAD_TIMEOUT=15m`. Le stockage partagé reste `/media/loic/nem/ollama`.

Les Modelfiles sont archivés dans `minidev/ollama-qwen38/` sur Nextcloud. [À vérifier — 2026-10-03] Ce chemin n'a pas pu être résolu sur tas (ni minidev ni /home/loic/minidev n'existent) : le share Nextcloud correspondant n'est pas monté. Emplacement réel des Modelfiles non vérifié — corriger quand le share sera disponible. Le Q4 a été testé via l’API et a répondu correctement ; le test de génération a utilisé 4096 tokens uniquement pour limiter le coût du test, la configuration persistante restant à 256K.