Aller au contenu

« Trace install tas - Ollama » : différence entre les versions

De Loic Wiki
Ajout Qwen3.8 Q4/Q8 et variante abliterated
hermes: correction 2026-10-03 (versions, hook OCI NVIDIA, verrou magasin, inventaire)
Ligne 30 : Ligne 30 :


=== NVIDIA / CUDA ===
=== NVIDIA / CUDA ===
* '''Point de vigilance — 2026-10-03 :''' l'image est en tag <code>:latest</code>, en contradiction avec la doctrine de tag explicite appliquée aux autres services de <code>tas</code>. Combiné à <code>AutoUpdate=registry</code>, un redémarrage peut changer la version sans décision ni traçabilité. Geler en remplaçant par un tag versionné après avoir relevé le digest courant (voir la section Procédure de mise à jour).
* Service systemd user généré : `ollama-nvidia.service`
* Service systemd user généré : `ollama-nvidia.service`
* Conteneur : `ollama_nv`
* Conteneur : `ollama_nv`
* Image : `docker.io/ollama/ollama:latest`
* Image : `docker.io/ollama/ollama:latest`
* Intégration GPU : Podman + NVIDIA Container Toolkit + CDI
* Intégration GPU : hook OCI NVIDIA rootless (et non injection CDI directe)
* Device CDI utilisé : `nvidia.com/gpu=all`
* Mécanisme effectif déclaré dans le Quadlet :
* <pre>PodmanArgs=--hooks-dir=/home/loic/.config/containers/oci-hooks-nvidia-rootless --cgroups=disabled</pre>
* Variables : <code>NVIDIA_VISIBLE_DEVICES=all</code>, <code>NVIDIA_DRIVER_CAPABILITIES=compute,utility</code>, <code>SecurityLabelDisable=true</code>


== Chemins de configuration ==
== Chemins de configuration ==
Ligne 49 : Ligne 52 :
== Dépendances ==
== Dépendances ==
* Caddy 25434 -> 11434 avec basicauth pour l'instance AMD/ROCm
* Caddy 25434 -> 11434 avec basicauth pour l'instance AMD/ROCm
* NVIDIA driver 580 open pour la RTX 3070
* NVIDIA driver pour la RTX 3070 (carte vérifiée : <code>NVIDIA GeForce RTX 3070</code>)
* NVIDIA Container Toolkit
* Hook OCI NVIDIA rootless : <code>/home/loic/.config/containers/oci-hooks-nvidia-rootless</code>
* CDI NVIDIA généré dans `/var/run/cdi/nvidia.yaml`
* clients comme Open WebUI
* clients comme Open WebUI
Le fichier <code>/var/run/cdi/nvidia.yaml</code> existe sur la machine mais n'est pas le chemin
effectif : le Quadlet NVIDIA passe par <code>--hooks-dir</code>. Un diagnostic fondé sur
<code>nvidia-ctk cdi list</code> décrit donc un mécanisme qui ne pilote plus ce conteneur.


== Remarques ==
== Remarques ==
Ligne 59 : Ligne 65 :
* Par prudence, éviter les `ollama pull` simultanés sur les deux instances.
* Par prudence, éviter les `ollama pull` simultanés sur les deux instances.
* Faire préférentiellement les opérations d'écriture (`pull`, `rm`, création de modèles) sur une seule instance à la fois.
* Faire préférentiellement les opérations d'écriture (`pull`, `rm`, création de modèles) sur une seule instance à la fois.
* '''Contrainte plus large que `pull` :''' ne pas lancer une génération sur AMD et une sur NVIDIA en même temps. Le magasin étant partagé, llama.cpp verrouille le fichier de modèle et la seconde génération attend ou échoue. Le magasin fait 2,8 To au 2026-10-03.
* Le proxy public documenté actuellement cible uniquement l'instance AMD/ROCm.
* Le proxy public documenté actuellement cible uniquement l'instance AMD/ROCm.


Ligne 132 : Ligne 139 :
</pre>
</pre>


=== Vérifier que CDI voit le GPU ===
=== Vérifier le chemin d'intégration GPU réellement utilisé ===
<pre>
<pre>
nvidia-ctk cdi list
# Hook OCI rootless (chemin effectif du Quadlet NVIDIA)
ls -d /home/loic/.config/containers/oci-hooks-nvidia-rootless
grep -n 'hooks-dir' /home/loic/.config/containers/systemd/ollama-nvidia.container
 
# Le spec CDI existe sur la machine mais n'est pas injecte par ce Quadlet
ls /var/run/cdi/nvidia.yaml
</pre>
</pre>


Ligne 162 : Ligne 174 :
== Restauration ==
== Restauration ==
* Restaurer `/media/loic/nem/ollama`.
* Restaurer `/media/loic/nem/ollama`.
* Restaurer les fichiers systemd user `ollama.service` et `ollama-nvidia.service`.
* Restaurer les fichiers systemd user `ollama-rocm.service` et `ollama-nvidia.service`.
* Recharger systemd user puis relancer les services :
* Recharger systemd user puis relancer les services :
<pre>
<pre>
Ligne 198 : Ligne 210 :
</pre>
</pre>


Le 14 août 2026, cette procédure a fait passer l’API ROCm de <code>0.32.0</code> à <code>0.32.9</code>. Le journal confirme la détection ROCm de la Radeon RX 7900 XTX.
Le 14 août 2026, cette procédure a fait passer l’API ROCm de <code>0.32.0</code> à <code>0.32.9</code>. Au 3 octobre 2026, les deux instances répondent en <code>0.35.1</code>. Le journal confirme la détection ROCm de la Radeon RX 7900 XTX.


=== Mise à jour du client CLI utilisateur ===
=== Mise à jour du client CLI utilisateur ===
Ligne 226 : Ligne 238 :
</pre>
</pre>


Résultat vérifié : <code>/home/loic/.local/bin/ollama</code>, client version <code>0.32.9</code>, aligné avec l’API ROCm.
Résultat vérifié : <code>/home/loic/.local/bin/ollama</code>, client version <code>0.35.1</code> au 3 octobre 2026, aligné avec l’API ROCm.


Pour remplacer également le binaire système, après validation et avec un compte root :
Pour remplacer également le binaire système, après validation et avec un compte root :
Ligne 251 : Ligne 263 :
/usr/bin/ollama --version
/usr/bin/ollama --version
</pre>
</pre>
== État GPU et inventaire des modèles — 2026-10-03 ==
=== Cartes réellement présentes ===
* AMD : <code>Card series: Navi 31 [Radeon RX 7900 XT/7900 XTX/7900M]</code> (vérifié <code>rocm-smi</code>)
* NVIDIA : <code>NVIDIA GeForce RTX 3070</code> (vérifié <code>nvidia-smi</code>)
=== Modèles recently installes (store partage, 2,8 To) ===
Installés depuis l'état Qwen3.8 du 2026-08-19 :
* <code>ornith-1.5:35b</code> — 22 Go
* <code>clef-flash:9b-q8_0</code> — 10 Go
* <code>tev1:4b-bf16</code> — 8,4 Go
* <code>qwen3.8-q4-256k:latest</code> — 17 Go (précisément Q4_K_M)
* <code>ornith-1.5:9b</code> — 6,6 Go
* <code>Maternion/mimo-v2.6:9b-thinking-q8_0</code> et <code>Maternion/mimo-v2.6:9b-instruct-q8_0</code> — 10 Go chacun
=== Compatibilité chat et tool calling ===
Testé via l'API OpenAI-compatible le 2026-10-03 :
{| class="wikitable"
! Modèle !! Chat !! Tool calling !! Remarque
|-
| <code>qwen3.8-q4-256k:latest</code> || oui || oui || reasoning model, réponse lente
|-
| <code>qwen3.8:27b-q4_K_M</code> || oui || oui ||
|-
| <code>ornith-1.5:9b</code> || oui || oui || 4x plus réactif que qwen3.8-q4
|-
| <code>clef-flash:9b-q8_0</code> || '''non''' || — || '''Exclu :''' Ollama répond <code>does not support chat</code>
|}
Ces modèles sont des '''reasoning models''' : la réflexion occupe d'abord le champ
<code>reasoning</code>, la réponse arrive ensuite dans <code>content</code>. Un budget
<code>max_tokens</code> trop serré est consommé par la réflexion et <code>content</code> reste vide — le
modèle paraît alors muet alors qu'il a raisonné. Tester avec <code>max_tokens &gt;= 600</code>.
Le tool calling n'est pas affecté par ce phénomène et fonctionne même avec un budget court.
== Consommation par Hermes ==
Hermes est branché sur l'instance AMD/ROCm via deux alias :
* <code>tas-rocm</code> → <code>qwen3.8-q4-256k:latest</code>
* <code>tas-rocm-fast</code> → <code>ornith-1.5:9b</code> (≈16 s contre ≈1 min 13 s)
Configuration : <code>~/.hermes/config.yaml</code>, section <code>model:</code>, clés <code>aliases</code> et
<code>ollama_num_ctx</code> (<code>65536</code>, volontairement inférieur aux 262144 du Quadlet pour tenir
en VRAM). Utilisation : <code>/model tas-rocm-fast</code> ou <code>/model tas-rocm</code>.
Précaution : ces alias pointent sur 11434. Ne pas lancer en parallèle une génération
Hermes sur AMD et une autre sur 11435 (voir Remarques).


== Maintenance documentaire ==
== Maintenance documentaire ==
Ligne 260 : Ligne 320 :
Les deux instances Ollama sont définies par Quadlet :
Les deux instances Ollama sont définies par Quadlet :


* ROCm : <code>ollama-rocm.service</code>, conteneur <code>ollama_roc</code>, port <code>11434</code>, image <code>docker.io/ollama/ollama:rocm</code>, API vérifiée en version <code>0.32.9</code> le 14 août 2026
* ROCm : <code>ollama-rocm.service</code>, conteneur <code>ollama_roc</code>, port <code>11434</code>, image <code>docker.io/ollama/ollama:rocm</code>, API vérifiée en version <code>0.35.1</code> le 3 octobre 2026
* NVIDIA : <code>ollama-nvidia.service</code>, conteneur <code>ollama_nv</code>, port <code>11435</code>, image <code>docker.io/ollama/ollama:latest</code>
* NVIDIA : <code>ollama-nvidia.service</code>, conteneur <code>ollama_nv</code>, port <code>11435</code>, image <code>docker.io/ollama/ollama:latest</code>
* Fichiers : <code>/home/loic/.config/containers/systemd/ollama-rocm.container</code> et <code>ollama-nvidia.container</code>
* Fichiers : <code>/home/loic/.config/containers/systemd/ollama-rocm.container</code> et <code>ollama-nvidia.container</code>
* Modèles partagés : <code>/media/loic/nem/ollama</code>
* Modèles partagés : <code>/media/loic/nem/ollama</code>


L’API ROCm répond en version <code>0.32.9</code> après mise à jour du conteneur le 14 août 2026. Le tag <code>:rocm</code> est flottant ; pour figer une version, comparer son digest à un tag versionné tel que <code>:0.32.3-rocm</code> puis modifier le Quadlet.
L’API ROCm répond en version <code>0.35.1</code> au 3 octobre 2026, sur les deux instances (<code>0.35.1</code> en 11434 et en 11435). Le tag <code>:rocm</code> est flottant ; pour figer une version, comparer son digest à un tag versionné tel que <code>:0.32.3-rocm</code> puis modifier le Quadlet.


L'instance NVIDIA reste dépendante de la cohérence entre le pilote noyau, les bibliothèques NVIDIA, le toolkit et le CDI.
L'instance NVIDIA reste dépendante de la cohérence entre le pilote noyau, les bibliothèques NVIDIA, le toolkit et le CDI.
Ligne 279 : Ligne 339 :
Le Quadlet ROCm définit également `OLLAMA_CONTEXT_LENGTH=262144`, `OLLAMA_FLASH_ATTENTION=1`, `OLLAMA_KV_CACHE_TYPE=q8_0`, `OLLAMA_NUM_PARALLEL=1`, `OLLAMA_MAX_LOADED_MODELS=1` et `OLLAMA_LOAD_TIMEOUT=15m`. Le stockage partagé reste `/media/loic/nem/ollama`.
Le Quadlet ROCm définit également `OLLAMA_CONTEXT_LENGTH=262144`, `OLLAMA_FLASH_ATTENTION=1`, `OLLAMA_KV_CACHE_TYPE=q8_0`, `OLLAMA_NUM_PARALLEL=1`, `OLLAMA_MAX_LOADED_MODELS=1` et `OLLAMA_LOAD_TIMEOUT=15m`. Le stockage partagé reste `/media/loic/nem/ollama`.


Les Modelfiles sont archivés dans `minidev/ollama-qwen38/` sur Nextcloud. Le Q4 a été testé via l’API et a répondu correctement ; le test de génération a utilisé 4096 tokens uniquement pour limiter le coût du test, la configuration persistante restant à 256K.
Les Modelfiles sont archivés dans `minidev/ollama-qwen38/` sur Nextcloud.
'''[À vérifier — 2026-10-03]''' Ce chemin n'a pas pu être résolu sur <code>tas</code> (ni <code>minidev</code> ni <code>/home/loic/minidev</code> n'existent) : le share Nextcloud correspondant n'est pas monté. Emplacement réel des Modelfiles non vérifié — corriger quand le share sera disponible. Le Q4 a été testé via l’API et a répondu correctement ; le test de génération a utilisé 4096 tokens uniquement pour limiter le coût du test, la configuration persistante restant à 256K.

Version du 4 octobre 2026 à 22:18

Trace install tas - Ollama

Rôle

API locale de modèles LLM avec deux instances distinctes :

  • une instance AMD/ROCm sur la Radeon RX 7900
  • une instance NVIDIA/CUDA sur la GeForce RTX 3070

Accès

Instance AMD / ROCm

Instance NVIDIA / CUDA

Ports

  • 11434/tcp : serveur Ollama AMD / ROCm
  • 11435/tcp : serveur Ollama NVIDIA / CUDA
  • 25434/tcp : proxy public Caddy vers l'instance AMD/ROCm, protégé par basicauth

Exécution / runtime

AMD / ROCm

  • Service systemd user généré : `ollama-rocm.service`
  • Conteneur : `ollama_roc`
  • Image : `docker.io/ollama/ollama:rocm`
  • Devices : `/dev/kfd`, `/dev/dri`

NVIDIA / CUDA

  • Point de vigilance — 2026-10-03 : l'image est en tag :latest, en contradiction avec la doctrine de tag explicite appliquée aux autres services de tas. Combiné à AutoUpdate=registry, un redémarrage peut changer la version sans décision ni traçabilité. Geler en remplaçant par un tag versionné après avoir relevé le digest courant (voir la section Procédure de mise à jour).
  • Service systemd user généré : `ollama-nvidia.service`
  • Conteneur : `ollama_nv`
  • Image : `docker.io/ollama/ollama:latest`
  • Intégration GPU : hook OCI NVIDIA rootless (et non injection CDI directe)
  • Mécanisme effectif déclaré dans le Quadlet :
  • PodmanArgs=--hooks-dir=/home/loic/.config/containers/oci-hooks-nvidia-rootless --cgroups=disabled
  • Variables : NVIDIA_VISIBLE_DEVICES=all, NVIDIA_DRIVER_CAPABILITIES=compute,utility, SecurityLabelDisable=true

Chemins de configuration

  • `/home/loic/.config/containers/systemd/ollama-rocm.container`
  • `/home/loic/.config/containers/systemd/ollama-nvidia.container`
  • `/etc/caddy/Caddyfile`
  • `/home/loic/.bashrc` (alias CLI)
  • `/home/loic/upgrade/ollama-dual-gpu-plan.md`

Volumes / persistance

  • Stockage modèles partagé entre les deux instances : `/media/loic/nem/ollama`
  • Montage conteneur : `/media/loic/nem/ollama -> /root/.ollama`

Dépendances

  • Caddy 25434 -> 11434 avec basicauth pour l'instance AMD/ROCm
  • NVIDIA driver pour la RTX 3070 (carte vérifiée : NVIDIA GeForce RTX 3070)
  • Hook OCI NVIDIA rootless : /home/loic/.config/containers/oci-hooks-nvidia-rootless
  • clients comme Open WebUI

Le fichier /var/run/cdi/nvidia.yaml existe sur la machine mais n'est pas le chemin effectif : le Quadlet NVIDIA passe par --hooks-dir. Un diagnostic fondé sur nvidia-ctk cdi list décrit donc un mécanisme qui ne pilote plus ce conteneur.

Remarques

  • L'instance NVIDIA n'a fonctionné correctement qu'après mise en place de NVIDIA Container Toolkit et CDI.
  • Le stockage de modèles est partagé entre les deux serveurs pour éviter les doublons disque.
  • Par prudence, éviter les `ollama pull` simultanés sur les deux instances.
  • Faire préférentiellement les opérations d'écriture (`pull`, `rm`, création de modèles) sur une seule instance à la fois.
  • Contrainte plus large que `pull` : ne pas lancer une génération sur AMD et une sur NVIDIA en même temps. Le magasin étant partagé, llama.cpp verrouille le fichier de modèle et la seconde génération attend ou échoue. Le magasin fait 2,8 To au 2026-10-03.
  • Le proxy public documenté actuellement cible uniquement l'instance AMD/ROCm.

Utilisation CLI

Sélection explicite du serveur

Pour cibler un serveur particulier depuis le terminal local, utiliser `OLLAMA_HOST`.

Exemples :

OLLAMA_HOST=http://127.0.0.1:11434 ollama list
OLLAMA_HOST=http://127.0.0.1:11434 ollama run qwen3

OLLAMA_HOST=http://127.0.0.1:11435 ollama list
OLLAMA_HOST=http://127.0.0.1:11435 ollama run qwen3

Alias shell

Alias ajoutés dans `/home/loic/.bashrc` :

alias ollama-amd='OLLAMA_HOST=http://127.0.0.1:11434 ollama'
alias ollama-nvidia='OLLAMA_HOST=http://127.0.0.1:11435 ollama'

Exemples :

ollama-amd list
ollama-amd run qwen3

ollama-nvidia list
ollama-nvidia run qwen3

Exemples de tests

Test basique de disponibilité

curl http://127.0.0.1:11434/api/tags
curl http://127.0.0.1:11435/api/tags

Questions de test

OLLAMA_HOST=http://127.0.0.1:11434 ollama run qwen3 "Donne-moi un résumé en 3 phrases de la différence entre ROCm et CUDA."
OLLAMA_HOST=http://127.0.0.1:11435 ollama run qwen3 "Donne-moi un résumé en 3 phrases de la différence entre ROCm et CUDA."
OLLAMA_HOST=http://127.0.0.1:11434 ollama run qwen3 "Écris un haïku sur les GPU."
OLLAMA_HOST=http://127.0.0.1:11435 ollama run qwen3 "Écris un haïku sur les GPU."

Vérifier le GPU utilisé côté NVIDIA

Les logs de `ollama-nvidia.service` doivent montrer une détection CUDA du type :

  • `library=CUDA`
  • `description="NVIDIA GeForce RTX 3070"`

Supervision / diagnostic

État des services

systemctl --user status ollama-rocm.service
systemctl --user status ollama-nvidia.service

Journaux

journalctl --user -u ollama-rocm.service -n 100 --no-pager
journalctl --user -u ollama-nvidia.service -n 100 --no-pager

Vérifier la carte NVIDIA

nvidia-smi
watch -n 1 nvidia-smi

Vérifier le chemin d'intégration GPU réellement utilisé

# Hook OCI rootless (chemin effectif du Quadlet NVIDIA)
ls -d /home/loic/.config/containers/oci-hooks-nvidia-rootless
grep -n 'hooks-dir' /home/loic/.config/containers/systemd/ollama-nvidia.container

# Le spec CDI existe sur la machine mais n'est pas injecte par ce Quadlet
ls /var/run/cdi/nvidia.yaml

Conteneurs actifs

podman ps | grep -E 'ollama_roc|ollama_nv'

Contrôler la réponse API

curl http://127.0.0.1:11434/api/tags
curl http://127.0.0.1:11435/api/tags

Données / emplacements à sauvegarder

  • `/media/loic/nem/ollama`
  • `/home/loic/.config/containers/systemd/ollama-rocm.container`
  • `/home/loic/.config/containers/systemd/ollama-nvidia.container`
  • `/etc/caddy/Caddyfile`
  • `/home/loic/.bashrc`

Sauvegarde

  • Sauvegarder le répertoire de modèles partagé `/media/loic/nem/ollama`.
  • Sauvegarder les deux services systemd user Ollama.
  • Sauvegarder la configuration Caddy liée à `25434`.

Restauration

  • Restaurer `/media/loic/nem/ollama`.
  • Restaurer les fichiers systemd user `ollama-rocm.service` et `ollama-nvidia.service`.
  • Recharger systemd user puis relancer les services :
systemctl --user daemon-reload
systemctl --user restart ollama-rocm.service
systemctl --user restart ollama-nvidia.service


Procédure de mise à jour — ROCm et client CLI

La procédure ci-dessous met à jour uniquement l’instance AMD/ROCm. Elle ne redémarre pas ollama-nvidia.service et ne modifie pas les modèles.

Mise à jour du conteneur ROCm

# Sauvegarder la définition Quadlet avant modification éventuelle
STAMP=$(date +%Y%m%d-%H%M%S)
mkdir -p /home/loic/backups/ollama
cp -p /home/loic/.config/containers/systemd/ollama-rocm.container \
  /home/loic/backups/ollama/ollama-rocm.container.before-update-${STAMP}.bak

# Télécharger l’image flottante ROCm puis recréer le conteneur
podman pull docker.io/ollama/ollama:rocm
systemctl --user daemon-reload
systemctl --user restart ollama-rocm.service

# Contrôler le service et la version API
systemctl --user is-active ollama-rocm.service
podman ps --filter name=ollama_roc
curl -fsS http://127.0.0.1:11434/api/version
curl -fsS http://127.0.0.1:11434/api/tags

Le 14 août 2026, cette procédure a fait passer l’API ROCm de 0.32.0 à 0.32.9. Au 3 octobre 2026, les deux instances répondent en 0.35.1. Le journal confirme la détection ROCm de la Radeon RX 7900 XTX.

Mise à jour du client CLI utilisateur

Le binaire système /usr/bin/ollama était une installation root en version client 0.30.7. Comme l’accès sudo n’était pas disponible, le client officiel a été installé dans /home/loic/.local/bin, qui est prioritaire dans le PATH.

# Télécharger l’archive officielle Linux AMD64
TMP=$(mktemp -d)
trap 'rm -rf "$TMP"' EXIT
curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
  -o "$TMP/ollama.tar.zst"
zstd -d "$TMP/ollama.tar.zst" -o "$TMP/ollama.tar"
tar -xf "$TMP/ollama.tar" -C "$TMP"

# Installer le client pour l’utilisateur courant
mkdir -p /home/loic/.local/bin
install -m 0755 "$TMP/bin/ollama" /home/loic/.local/bin/ollama
hash -r

# Vérifier la résolution et la version
command -v ollama
ollama --version

# Tester le client contre l’instance AMD
OLLAMA_HOST=http://127.0.0.1:11434 ollama list

Résultat vérifié : /home/loic/.local/bin/ollama, client version 0.35.1 au 3 octobre 2026, aligné avec l’API ROCm.

Pour remplacer également le binaire système, après validation et avec un compte root :

sudo cp -p /usr/bin/ollama /home/loic/backups/ollama/ollama-client.system.before-update-$(date +%Y%m%d-%H%M%S).bin
sudo install -o root -g root -m 0755 /home/loic/.local/bin/ollama /usr/bin/ollama
/usr/bin/ollama --version

Retour arrière

# Revenir à l’image actuellement utilisée avant le pull : utiliser son digest
podman image ls --digests docker.io/ollama/ollama

# Restaurer le Quadlet si nécessaire, puis relancer
systemctl --user daemon-reload
systemctl --user restart ollama-rocm.service

# Désactiver le client utilisateur pour revenir au client système
mv /home/loic/.local/bin/ollama /home/loic/.local/bin/ollama.disabled
hash -r
/usr/bin/ollama --version

État GPU et inventaire des modèles — 2026-10-03

Cartes réellement présentes

  • AMD : Card series: Navi 31 [Radeon RX 7900 XT/7900 XTX/7900M] (vérifié rocm-smi)
  • NVIDIA : NVIDIA GeForce RTX 3070 (vérifié nvidia-smi)

Modèles recently installes (store partage, 2,8 To)

Installés depuis l'état Qwen3.8 du 2026-08-19 :

  • ornith-1.5:35b — 22 Go
  • clef-flash:9b-q8_0 — 10 Go
  • tev1:4b-bf16 — 8,4 Go
  • qwen3.8-q4-256k:latest — 17 Go (précisément Q4_K_M)
  • ornith-1.5:9b — 6,6 Go
  • Maternion/mimo-v2.6:9b-thinking-q8_0 et Maternion/mimo-v2.6:9b-instruct-q8_0 — 10 Go chacun

Compatibilité chat et tool calling

Testé via l'API OpenAI-compatible le 2026-10-03 :

Modèle Chat Tool calling Remarque
qwen3.8-q4-256k:latest oui oui reasoning model, réponse lente
qwen3.8:27b-q4_K_M oui oui
ornith-1.5:9b oui oui 4x plus réactif que qwen3.8-q4
clef-flash:9b-q8_0 non — Exclu : Ollama répond does not support chat

Ces modèles sont des reasoning models : la réflexion occupe d'abord le champ reasoning, la réponse arrive ensuite dans content. Un budget max_tokens trop serré est consommé par la réflexion et content reste vide — le modèle paraît alors muet alors qu'il a raisonné. Tester avec max_tokens >= 600. Le tool calling n'est pas affecté par ce phénomène et fonctionne même avec un budget court.

Consommation par Hermes

Hermes est branché sur l'instance AMD/ROCm via deux alias :

  • tas-rocm → qwen3.8-q4-256k:latest
  • tas-rocm-fast → ornith-1.5:9b (≈16 s contre ≈1 min 13 s)

Configuration : ~/.hermes/config.yaml, section model:, clés aliases et ollama_num_ctx (65536, volontairement inférieur aux 262144 du Quadlet pour tenir en VRAM). Utilisation : /model tas-rocm-fast ou /model tas-rocm.

Précaution : ces alias pointent sur 11434. Ne pas lancer en parallèle une génération Hermes sur AMD et une autre sur 11435 (voir Remarques).

Maintenance documentaire

Lors d'un changement de port, de proxy public, de stockage des modèles, de pilote GPU, de toolkit NVIDIA, d'alias shell ou d'architecture AMD/NVIDIA, mettre à jour cette page et la page centrale Trace install tas.

Trace documentaire

Cette page fait partie de Trace install tas.\n\n== État Quadlet confirmé — 2026-07-25 ==

Les deux instances Ollama sont définies par Quadlet :

  • ROCm : ollama-rocm.service, conteneur ollama_roc, port 11434, image docker.io/ollama/ollama:rocm, API vérifiée en version 0.35.1 le 3 octobre 2026
  • NVIDIA : ollama-nvidia.service, conteneur ollama_nv, port 11435, image docker.io/ollama/ollama:latest
  • Fichiers : /home/loic/.config/containers/systemd/ollama-rocm.container et ollama-nvidia.container
  • Modèles partagés : /media/loic/nem/ollama

L’API ROCm répond en version 0.35.1 au 3 octobre 2026, sur les deux instances (0.35.1 en 11434 et en 11435). Le tag :rocm est flottant ; pour figer une version, comparer son digest à un tag versionné tel que :0.32.3-rocm puis modifier le Quadlet.

L'instance NVIDIA reste dépendante de la cohérence entre le pilote noyau, les bibliothèques NVIDIA, le toolkit et le CDI.

Qwen3.8 (2026-08-19)

Modèles installés dans l’instance AMD/ROCm :

  • `qwen3.8-q4-256k` : modèle officiel Qwen3.8 27B, Q4_K_M, environ 17 Go.
  • `qwen3.8-q8-256k` : modèle officiel Qwen3.8 27B, Q8_0, environ 29 Go.
  • `qwen3.8-abliterated-q4-256k` : `huihui_ai/Qwen3.8-abliterated:27b`, variante communautaire Q4, environ 17 Go.

Les trois modèles configurés utilisent `num_ctx=262144` et `temperature=0.2`. La variante abliterated n’est pas une publication officielle Alibaba/Ollama et peut avoir un comportement de sûreté différent.

Le Quadlet ROCm définit également `OLLAMA_CONTEXT_LENGTH=262144`, `OLLAMA_FLASH_ATTENTION=1`, `OLLAMA_KV_CACHE_TYPE=q8_0`, `OLLAMA_NUM_PARALLEL=1`, `OLLAMA_MAX_LOADED_MODELS=1` et `OLLAMA_LOAD_TIMEOUT=15m`. Le stockage partagé reste `/media/loic/nem/ollama`.

Les Modelfiles sont archivés dans `minidev/ollama-qwen38/` sur Nextcloud. [À vérifier — 2026-10-03] Ce chemin n'a pas pu être résolu sur tas (ni minidev ni /home/loic/minidev n'existent) : le share Nextcloud correspondant n'est pas monté. Emplacement réel des Modelfiles non vérifié — corriger quand le share sera disponible. Le Q4 a été testé via l’API et a répondu correctement ; le test de génération a utilisé 4096 tokens uniquement pour limiter le coût du test, la configuration persistante restant à 256K.