« Trace install tas - Ollama » : différence entre les versions
Ajout Qwen3.8 Q4/Q8 et variante abliterated |
hermes: correction 2026-10-03 (versions, hook OCI NVIDIA, verrou magasin, inventaire) |
||
| Ligne 30 : | Ligne 30 : | ||
=== NVIDIA / CUDA === | === NVIDIA / CUDA === | ||
* '''Point de vigilance — 2026-10-03 :''' l'image est en tag <code>:latest</code>, en contradiction avec la doctrine de tag explicite appliquée aux autres services de <code>tas</code>. Combiné à <code>AutoUpdate=registry</code>, un redémarrage peut changer la version sans décision ni traçabilité. Geler en remplaçant par un tag versionné après avoir relevé le digest courant (voir la section Procédure de mise à jour). | |||
* Service systemd user généré : `ollama-nvidia.service` | * Service systemd user généré : `ollama-nvidia.service` | ||
* Conteneur : `ollama_nv` | * Conteneur : `ollama_nv` | ||
* Image : `docker.io/ollama/ollama:latest` | * Image : `docker.io/ollama/ollama:latest` | ||
* Intégration GPU : | * Intégration GPU : hook OCI NVIDIA rootless (et non injection CDI directe) | ||
* | * Mécanisme effectif déclaré dans le Quadlet : | ||
* <pre>PodmanArgs=--hooks-dir=/home/loic/.config/containers/oci-hooks-nvidia-rootless --cgroups=disabled</pre> | |||
* Variables : <code>NVIDIA_VISIBLE_DEVICES=all</code>, <code>NVIDIA_DRIVER_CAPABILITIES=compute,utility</code>, <code>SecurityLabelDisable=true</code> | |||
== Chemins de configuration == | == Chemins de configuration == | ||
| Ligne 49 : | Ligne 52 : | ||
== Dépendances == | == Dépendances == | ||
* Caddy 25434 -> 11434 avec basicauth pour l'instance AMD/ROCm | * Caddy 25434 -> 11434 avec basicauth pour l'instance AMD/ROCm | ||
* NVIDIA driver | * NVIDIA driver pour la RTX 3070 (carte vérifiée : <code>NVIDIA GeForce RTX 3070</code>) | ||
* Hook OCI NVIDIA rootless : <code>/home/loic/.config/containers/oci-hooks-nvidia-rootless</code> | |||
* | |||
* clients comme Open WebUI | * clients comme Open WebUI | ||
Le fichier <code>/var/run/cdi/nvidia.yaml</code> existe sur la machine mais n'est pas le chemin | |||
effectif : le Quadlet NVIDIA passe par <code>--hooks-dir</code>. Un diagnostic fondé sur | |||
<code>nvidia-ctk cdi list</code> décrit donc un mécanisme qui ne pilote plus ce conteneur. | |||
== Remarques == | == Remarques == | ||
| Ligne 59 : | Ligne 65 : | ||
* Par prudence, éviter les `ollama pull` simultanés sur les deux instances. | * Par prudence, éviter les `ollama pull` simultanés sur les deux instances. | ||
* Faire préférentiellement les opérations d'écriture (`pull`, `rm`, création de modèles) sur une seule instance à la fois. | * Faire préférentiellement les opérations d'écriture (`pull`, `rm`, création de modèles) sur une seule instance à la fois. | ||
* '''Contrainte plus large que `pull` :''' ne pas lancer une génération sur AMD et une sur NVIDIA en même temps. Le magasin étant partagé, llama.cpp verrouille le fichier de modèle et la seconde génération attend ou échoue. Le magasin fait 2,8 To au 2026-10-03. | |||
* Le proxy public documenté actuellement cible uniquement l'instance AMD/ROCm. | * Le proxy public documenté actuellement cible uniquement l'instance AMD/ROCm. | ||
| Ligne 132 : | Ligne 139 : | ||
</pre> | </pre> | ||
=== Vérifier | === Vérifier le chemin d'intégration GPU réellement utilisé === | ||
<pre> | <pre> | ||
nvidia- | # Hook OCI rootless (chemin effectif du Quadlet NVIDIA) | ||
ls -d /home/loic/.config/containers/oci-hooks-nvidia-rootless | |||
grep -n 'hooks-dir' /home/loic/.config/containers/systemd/ollama-nvidia.container | |||
# Le spec CDI existe sur la machine mais n'est pas injecte par ce Quadlet | |||
ls /var/run/cdi/nvidia.yaml | |||
</pre> | </pre> | ||
| Ligne 162 : | Ligne 174 : | ||
== Restauration == | == Restauration == | ||
* Restaurer `/media/loic/nem/ollama`. | * Restaurer `/media/loic/nem/ollama`. | ||
* Restaurer les fichiers systemd user `ollama.service` et `ollama-nvidia.service`. | * Restaurer les fichiers systemd user `ollama-rocm.service` et `ollama-nvidia.service`. | ||
* Recharger systemd user puis relancer les services : | * Recharger systemd user puis relancer les services : | ||
<pre> | <pre> | ||
| Ligne 198 : | Ligne 210 : | ||
</pre> | </pre> | ||
Le 14 août 2026, cette procédure a fait passer l’API ROCm de <code>0.32.0</code> à <code>0.32.9</code>. Le journal confirme la détection ROCm de la Radeon RX 7900 XTX. | Le 14 août 2026, cette procédure a fait passer l’API ROCm de <code>0.32.0</code> à <code>0.32.9</code>. Au 3 octobre 2026, les deux instances répondent en <code>0.35.1</code>. Le journal confirme la détection ROCm de la Radeon RX 7900 XTX. | ||
=== Mise à jour du client CLI utilisateur === | === Mise à jour du client CLI utilisateur === | ||
| Ligne 226 : | Ligne 238 : | ||
</pre> | </pre> | ||
Résultat vérifié : <code>/home/loic/.local/bin/ollama</code>, client version <code>0. | Résultat vérifié : <code>/home/loic/.local/bin/ollama</code>, client version <code>0.35.1</code> au 3 octobre 2026, aligné avec l’API ROCm. | ||
Pour remplacer également le binaire système, après validation et avec un compte root : | Pour remplacer également le binaire système, après validation et avec un compte root : | ||
| Ligne 251 : | Ligne 263 : | ||
/usr/bin/ollama --version | /usr/bin/ollama --version | ||
</pre> | </pre> | ||
== État GPU et inventaire des modèles — 2026-10-03 == | |||
=== Cartes réellement présentes === | |||
* AMD : <code>Card series: Navi 31 [Radeon RX 7900 XT/7900 XTX/7900M]</code> (vérifié <code>rocm-smi</code>) | |||
* NVIDIA : <code>NVIDIA GeForce RTX 3070</code> (vérifié <code>nvidia-smi</code>) | |||
=== Modèles recently installes (store partage, 2,8 To) === | |||
Installés depuis l'état Qwen3.8 du 2026-08-19 : | |||
* <code>ornith-1.5:35b</code> — 22 Go | |||
* <code>clef-flash:9b-q8_0</code> — 10 Go | |||
* <code>tev1:4b-bf16</code> — 8,4 Go | |||
* <code>qwen3.8-q4-256k:latest</code> — 17 Go (précisément Q4_K_M) | |||
* <code>ornith-1.5:9b</code> — 6,6 Go | |||
* <code>Maternion/mimo-v2.6:9b-thinking-q8_0</code> et <code>Maternion/mimo-v2.6:9b-instruct-q8_0</code> — 10 Go chacun | |||
=== Compatibilité chat et tool calling === | |||
Testé via l'API OpenAI-compatible le 2026-10-03 : | |||
{| class="wikitable" | |||
! Modèle !! Chat !! Tool calling !! Remarque | |||
|- | |||
| <code>qwen3.8-q4-256k:latest</code> || oui || oui || reasoning model, réponse lente | |||
|- | |||
| <code>qwen3.8:27b-q4_K_M</code> || oui || oui || | |||
|- | |||
| <code>ornith-1.5:9b</code> || oui || oui || 4x plus réactif que qwen3.8-q4 | |||
|- | |||
| <code>clef-flash:9b-q8_0</code> || '''non''' || — || '''Exclu :''' Ollama répond <code>does not support chat</code> | |||
|} | |||
Ces modèles sont des '''reasoning models''' : la réflexion occupe d'abord le champ | |||
<code>reasoning</code>, la réponse arrive ensuite dans <code>content</code>. Un budget | |||
<code>max_tokens</code> trop serré est consommé par la réflexion et <code>content</code> reste vide — le | |||
modèle paraît alors muet alors qu'il a raisonné. Tester avec <code>max_tokens >= 600</code>. | |||
Le tool calling n'est pas affecté par ce phénomène et fonctionne même avec un budget court. | |||
== Consommation par Hermes == | |||
Hermes est branché sur l'instance AMD/ROCm via deux alias : | |||
* <code>tas-rocm</code> → <code>qwen3.8-q4-256k:latest</code> | |||
* <code>tas-rocm-fast</code> → <code>ornith-1.5:9b</code> (≈16 s contre ≈1 min 13 s) | |||
Configuration : <code>~/.hermes/config.yaml</code>, section <code>model:</code>, clés <code>aliases</code> et | |||
<code>ollama_num_ctx</code> (<code>65536</code>, volontairement inférieur aux 262144 du Quadlet pour tenir | |||
en VRAM). Utilisation : <code>/model tas-rocm-fast</code> ou <code>/model tas-rocm</code>. | |||
Précaution : ces alias pointent sur 11434. Ne pas lancer en parallèle une génération | |||
Hermes sur AMD et une autre sur 11435 (voir Remarques). | |||
== Maintenance documentaire == | == Maintenance documentaire == | ||
| Ligne 260 : | Ligne 320 : | ||
Les deux instances Ollama sont définies par Quadlet : | Les deux instances Ollama sont définies par Quadlet : | ||
* ROCm : <code>ollama-rocm.service</code>, conteneur <code>ollama_roc</code>, port <code>11434</code>, image <code>docker.io/ollama/ollama:rocm</code>, API vérifiée en version <code>0. | * ROCm : <code>ollama-rocm.service</code>, conteneur <code>ollama_roc</code>, port <code>11434</code>, image <code>docker.io/ollama/ollama:rocm</code>, API vérifiée en version <code>0.35.1</code> le 3 octobre 2026 | ||
* NVIDIA : <code>ollama-nvidia.service</code>, conteneur <code>ollama_nv</code>, port <code>11435</code>, image <code>docker.io/ollama/ollama:latest</code> | * NVIDIA : <code>ollama-nvidia.service</code>, conteneur <code>ollama_nv</code>, port <code>11435</code>, image <code>docker.io/ollama/ollama:latest</code> | ||
* Fichiers : <code>/home/loic/.config/containers/systemd/ollama-rocm.container</code> et <code>ollama-nvidia.container</code> | * Fichiers : <code>/home/loic/.config/containers/systemd/ollama-rocm.container</code> et <code>ollama-nvidia.container</code> | ||
* Modèles partagés : <code>/media/loic/nem/ollama</code> | * Modèles partagés : <code>/media/loic/nem/ollama</code> | ||
L’API ROCm répond en version <code>0. | L’API ROCm répond en version <code>0.35.1</code> au 3 octobre 2026, sur les deux instances (<code>0.35.1</code> en 11434 et en 11435). Le tag <code>:rocm</code> est flottant ; pour figer une version, comparer son digest à un tag versionné tel que <code>:0.32.3-rocm</code> puis modifier le Quadlet. | ||
L'instance NVIDIA reste dépendante de la cohérence entre le pilote noyau, les bibliothèques NVIDIA, le toolkit et le CDI. | L'instance NVIDIA reste dépendante de la cohérence entre le pilote noyau, les bibliothèques NVIDIA, le toolkit et le CDI. | ||
| Ligne 279 : | Ligne 339 : | ||
Le Quadlet ROCm définit également `OLLAMA_CONTEXT_LENGTH=262144`, `OLLAMA_FLASH_ATTENTION=1`, `OLLAMA_KV_CACHE_TYPE=q8_0`, `OLLAMA_NUM_PARALLEL=1`, `OLLAMA_MAX_LOADED_MODELS=1` et `OLLAMA_LOAD_TIMEOUT=15m`. Le stockage partagé reste `/media/loic/nem/ollama`. | Le Quadlet ROCm définit également `OLLAMA_CONTEXT_LENGTH=262144`, `OLLAMA_FLASH_ATTENTION=1`, `OLLAMA_KV_CACHE_TYPE=q8_0`, `OLLAMA_NUM_PARALLEL=1`, `OLLAMA_MAX_LOADED_MODELS=1` et `OLLAMA_LOAD_TIMEOUT=15m`. Le stockage partagé reste `/media/loic/nem/ollama`. | ||
Les Modelfiles sont archivés dans `minidev/ollama-qwen38/` sur Nextcloud. Le Q4 a été testé via l’API et a répondu correctement ; le test de génération a utilisé 4096 tokens uniquement pour limiter le coût du test, la configuration persistante restant à 256K. | Les Modelfiles sont archivés dans `minidev/ollama-qwen38/` sur Nextcloud. | ||
'''[À vérifier — 2026-10-03]''' Ce chemin n'a pas pu être résolu sur <code>tas</code> (ni <code>minidev</code> ni <code>/home/loic/minidev</code> n'existent) : le share Nextcloud correspondant n'est pas monté. Emplacement réel des Modelfiles non vérifié — corriger quand le share sera disponible. Le Q4 a été testé via l’API et a répondu correctement ; le test de génération a utilisé 4096 tokens uniquement pour limiter le coût du test, la configuration persistante restant à 256K. | |||
Version du 4 octobre 2026 à 22:18
Trace install tas - Ollama
Rôle
API locale de modèles LLM avec deux instances distinctes :
- une instance AMD/ROCm sur la Radeon RX 7900
- une instance NVIDIA/CUDA sur la GeForce RTX 3070
Accès
Instance AMD / ROCm
- Local : http://10.8.0.1:11434
- Depuis le terminal local : `OLLAMA_HOST=http://127.0.0.1:11434`
- Public : https://lololand.hopto.org:25434
Instance NVIDIA / CUDA
- Local : http://10.8.0.1:11435
- Depuis le terminal local : `OLLAMA_HOST=http://127.0.0.1:11435`
- Pas d'exposition publique dédiée documentée à ce stade
Ports
- 11434/tcp : serveur Ollama AMD / ROCm
- 11435/tcp : serveur Ollama NVIDIA / CUDA
- 25434/tcp : proxy public Caddy vers l'instance AMD/ROCm, protégé par basicauth
Exécution / runtime
AMD / ROCm
- Service systemd user généré : `ollama-rocm.service`
- Conteneur : `ollama_roc`
- Image : `docker.io/ollama/ollama:rocm`
- Devices : `/dev/kfd`, `/dev/dri`
NVIDIA / CUDA
- Point de vigilance — 2026-10-03 : l'image est en tag
:latest, en contradiction avec la doctrine de tag explicite appliquée aux autres services detas. Combiné àAutoUpdate=registry, un redémarrage peut changer la version sans décision ni traçabilité. Geler en remplaçant par un tag versionné après avoir relevé le digest courant (voir la section Procédure de mise à jour). - Service systemd user généré : `ollama-nvidia.service`
- Conteneur : `ollama_nv`
- Image : `docker.io/ollama/ollama:latest`
- Intégration GPU : hook OCI NVIDIA rootless (et non injection CDI directe)
- Mécanisme effectif déclaré dans le Quadlet :
PodmanArgs=--hooks-dir=/home/loic/.config/containers/oci-hooks-nvidia-rootless --cgroups=disabled
- Variables :
NVIDIA_VISIBLE_DEVICES=all,NVIDIA_DRIVER_CAPABILITIES=compute,utility,SecurityLabelDisable=true
Chemins de configuration
- `/home/loic/.config/containers/systemd/ollama-rocm.container`
- `/home/loic/.config/containers/systemd/ollama-nvidia.container`
- `/etc/caddy/Caddyfile`
- `/home/loic/.bashrc` (alias CLI)
- `/home/loic/upgrade/ollama-dual-gpu-plan.md`
Volumes / persistance
- Stockage modèles partagé entre les deux instances : `/media/loic/nem/ollama`
- Montage conteneur : `/media/loic/nem/ollama -> /root/.ollama`
Dépendances
- Caddy 25434 -> 11434 avec basicauth pour l'instance AMD/ROCm
- NVIDIA driver pour la RTX 3070 (carte vérifiée :
NVIDIA GeForce RTX 3070) - Hook OCI NVIDIA rootless :
/home/loic/.config/containers/oci-hooks-nvidia-rootless - clients comme Open WebUI
Le fichier /var/run/cdi/nvidia.yaml existe sur la machine mais n'est pas le chemin
effectif : le Quadlet NVIDIA passe par --hooks-dir. Un diagnostic fondé sur
nvidia-ctk cdi list décrit donc un mécanisme qui ne pilote plus ce conteneur.
Remarques
- L'instance NVIDIA n'a fonctionné correctement qu'après mise en place de NVIDIA Container Toolkit et CDI.
- Le stockage de modèles est partagé entre les deux serveurs pour éviter les doublons disque.
- Par prudence, éviter les `ollama pull` simultanés sur les deux instances.
- Faire préférentiellement les opérations d'écriture (`pull`, `rm`, création de modèles) sur une seule instance à la fois.
- Contrainte plus large que `pull` : ne pas lancer une génération sur AMD et une sur NVIDIA en même temps. Le magasin étant partagé, llama.cpp verrouille le fichier de modèle et la seconde génération attend ou échoue. Le magasin fait 2,8 To au 2026-10-03.
- Le proxy public documenté actuellement cible uniquement l'instance AMD/ROCm.
Utilisation CLI
Sélection explicite du serveur
Pour cibler un serveur particulier depuis le terminal local, utiliser `OLLAMA_HOST`.
Exemples :
OLLAMA_HOST=http://127.0.0.1:11434 ollama list OLLAMA_HOST=http://127.0.0.1:11434 ollama run qwen3 OLLAMA_HOST=http://127.0.0.1:11435 ollama list OLLAMA_HOST=http://127.0.0.1:11435 ollama run qwen3
Alias shell
Alias ajoutés dans `/home/loic/.bashrc` :
alias ollama-amd='OLLAMA_HOST=http://127.0.0.1:11434 ollama' alias ollama-nvidia='OLLAMA_HOST=http://127.0.0.1:11435 ollama'
Exemples :
ollama-amd list ollama-amd run qwen3 ollama-nvidia list ollama-nvidia run qwen3
Exemples de tests
Test basique de disponibilité
curl http://127.0.0.1:11434/api/tags curl http://127.0.0.1:11435/api/tags
Questions de test
OLLAMA_HOST=http://127.0.0.1:11434 ollama run qwen3 "Donne-moi un résumé en 3 phrases de la différence entre ROCm et CUDA." OLLAMA_HOST=http://127.0.0.1:11435 ollama run qwen3 "Donne-moi un résumé en 3 phrases de la différence entre ROCm et CUDA."
OLLAMA_HOST=http://127.0.0.1:11434 ollama run qwen3 "Écris un haïku sur les GPU." OLLAMA_HOST=http://127.0.0.1:11435 ollama run qwen3 "Écris un haïku sur les GPU."
Vérifier le GPU utilisé côté NVIDIA
Les logs de `ollama-nvidia.service` doivent montrer une détection CUDA du type :
- `library=CUDA`
- `description="NVIDIA GeForce RTX 3070"`
Supervision / diagnostic
État des services
systemctl --user status ollama-rocm.service systemctl --user status ollama-nvidia.service
Journaux
journalctl --user -u ollama-rocm.service -n 100 --no-pager journalctl --user -u ollama-nvidia.service -n 100 --no-pager
Vérifier la carte NVIDIA
nvidia-smi watch -n 1 nvidia-smi
Vérifier le chemin d'intégration GPU réellement utilisé
# Hook OCI rootless (chemin effectif du Quadlet NVIDIA) ls -d /home/loic/.config/containers/oci-hooks-nvidia-rootless grep -n 'hooks-dir' /home/loic/.config/containers/systemd/ollama-nvidia.container # Le spec CDI existe sur la machine mais n'est pas injecte par ce Quadlet ls /var/run/cdi/nvidia.yaml
Conteneurs actifs
podman ps | grep -E 'ollama_roc|ollama_nv'
Contrôler la réponse API
curl http://127.0.0.1:11434/api/tags curl http://127.0.0.1:11435/api/tags
Données / emplacements à sauvegarder
- `/media/loic/nem/ollama`
- `/home/loic/.config/containers/systemd/ollama-rocm.container`
- `/home/loic/.config/containers/systemd/ollama-nvidia.container`
- `/etc/caddy/Caddyfile`
- `/home/loic/.bashrc`
Sauvegarde
- Sauvegarder le répertoire de modèles partagé `/media/loic/nem/ollama`.
- Sauvegarder les deux services systemd user Ollama.
- Sauvegarder la configuration Caddy liée à `25434`.
Restauration
- Restaurer `/media/loic/nem/ollama`.
- Restaurer les fichiers systemd user `ollama-rocm.service` et `ollama-nvidia.service`.
- Recharger systemd user puis relancer les services :
systemctl --user daemon-reload systemctl --user restart ollama-rocm.service systemctl --user restart ollama-nvidia.service
- Vérifier ensuite `curl http://127.0.0.1:11434/api/tags` et `curl http://127.0.0.1:11435/api/tags`.
Procédure de mise à jour — ROCm et client CLI
La procédure ci-dessous met à jour uniquement l’instance AMD/ROCm. Elle ne redémarre pas ollama-nvidia.service et ne modifie pas les modèles.
Mise à jour du conteneur ROCm
# Sauvegarder la définition Quadlet avant modification éventuelle
STAMP=$(date +%Y%m%d-%H%M%S)
mkdir -p /home/loic/backups/ollama
cp -p /home/loic/.config/containers/systemd/ollama-rocm.container \
/home/loic/backups/ollama/ollama-rocm.container.before-update-${STAMP}.bak
# Télécharger l’image flottante ROCm puis recréer le conteneur
podman pull docker.io/ollama/ollama:rocm
systemctl --user daemon-reload
systemctl --user restart ollama-rocm.service
# Contrôler le service et la version API
systemctl --user is-active ollama-rocm.service
podman ps --filter name=ollama_roc
curl -fsS http://127.0.0.1:11434/api/version
curl -fsS http://127.0.0.1:11434/api/tags
Le 14 août 2026, cette procédure a fait passer l’API ROCm de 0.32.0 à 0.32.9. Au 3 octobre 2026, les deux instances répondent en 0.35.1. Le journal confirme la détection ROCm de la Radeon RX 7900 XTX.
Mise à jour du client CLI utilisateur
Le binaire système /usr/bin/ollama était une installation root en version client 0.30.7. Comme l’accès sudo n’était pas disponible, le client officiel a été installé dans /home/loic/.local/bin, qui est prioritaire dans le PATH.
# Télécharger l’archive officielle Linux AMD64 TMP=$(mktemp -d) trap 'rm -rf "$TMP"' EXIT curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \ -o "$TMP/ollama.tar.zst" zstd -d "$TMP/ollama.tar.zst" -o "$TMP/ollama.tar" tar -xf "$TMP/ollama.tar" -C "$TMP" # Installer le client pour l’utilisateur courant mkdir -p /home/loic/.local/bin install -m 0755 "$TMP/bin/ollama" /home/loic/.local/bin/ollama hash -r # Vérifier la résolution et la version command -v ollama ollama --version # Tester le client contre l’instance AMD OLLAMA_HOST=http://127.0.0.1:11434 ollama list
Résultat vérifié : /home/loic/.local/bin/ollama, client version 0.35.1 au 3 octobre 2026, aligné avec l’API ROCm.
Pour remplacer également le binaire système, après validation et avec un compte root :
sudo cp -p /usr/bin/ollama /home/loic/backups/ollama/ollama-client.system.before-update-$(date +%Y%m%d-%H%M%S).bin sudo install -o root -g root -m 0755 /home/loic/.local/bin/ollama /usr/bin/ollama /usr/bin/ollama --version
Retour arrière
# Revenir à l’image actuellement utilisée avant le pull : utiliser son digest podman image ls --digests docker.io/ollama/ollama # Restaurer le Quadlet si nécessaire, puis relancer systemctl --user daemon-reload systemctl --user restart ollama-rocm.service # Désactiver le client utilisateur pour revenir au client système mv /home/loic/.local/bin/ollama /home/loic/.local/bin/ollama.disabled hash -r /usr/bin/ollama --version
État GPU et inventaire des modèles — 2026-10-03
Cartes réellement présentes
- AMD :
Card series: Navi 31 [Radeon RX 7900 XT/7900 XTX/7900M](vérifiérocm-smi) - NVIDIA :
NVIDIA GeForce RTX 3070(vérifiénvidia-smi)
Modèles recently installes (store partage, 2,8 To)
Installés depuis l'état Qwen3.8 du 2026-08-19 :
ornith-1.5:35b— 22 Goclef-flash:9b-q8_0— 10 Gotev1:4b-bf16— 8,4 Goqwen3.8-q4-256k:latest— 17 Go (précisément Q4_K_M)ornith-1.5:9b— 6,6 GoMaternion/mimo-v2.6:9b-thinking-q8_0etMaternion/mimo-v2.6:9b-instruct-q8_0— 10 Go chacun
Compatibilité chat et tool calling
Testé via l'API OpenAI-compatible le 2026-10-03 :
| Modèle | Chat | Tool calling | Remarque |
|---|---|---|---|
qwen3.8-q4-256k:latest |
oui | oui | reasoning model, réponse lente |
qwen3.8:27b-q4_K_M |
oui | oui | |
ornith-1.5:9b |
oui | oui | 4x plus réactif que qwen3.8-q4 |
clef-flash:9b-q8_0 |
non | — | Exclu : Ollama répond does not support chat
|
Ces modèles sont des reasoning models : la réflexion occupe d'abord le champ
reasoning, la réponse arrive ensuite dans content. Un budget
max_tokens trop serré est consommé par la réflexion et content reste vide — le
modèle paraît alors muet alors qu'il a raisonné. Tester avec max_tokens >= 600.
Le tool calling n'est pas affecté par ce phénomène et fonctionne même avec un budget court.
Consommation par Hermes
Hermes est branché sur l'instance AMD/ROCm via deux alias :
tas-rocm→qwen3.8-q4-256k:latesttas-rocm-fast→ornith-1.5:9b(≈16 s contre ≈1 min 13 s)
Configuration : ~/.hermes/config.yaml, section model:, clés aliases et
ollama_num_ctx (65536, volontairement inférieur aux 262144 du Quadlet pour tenir
en VRAM). Utilisation : /model tas-rocm-fast ou /model tas-rocm.
Précaution : ces alias pointent sur 11434. Ne pas lancer en parallèle une génération Hermes sur AMD et une autre sur 11435 (voir Remarques).
Maintenance documentaire
Lors d'un changement de port, de proxy public, de stockage des modèles, de pilote GPU, de toolkit NVIDIA, d'alias shell ou d'architecture AMD/NVIDIA, mettre à jour cette page et la page centrale Trace install tas.
Trace documentaire
Cette page fait partie de Trace install tas.\n\n== État Quadlet confirmé — 2026-07-25 ==
Les deux instances Ollama sont définies par Quadlet :
- ROCm :
ollama-rocm.service, conteneurollama_roc, port11434, imagedocker.io/ollama/ollama:rocm, API vérifiée en version0.35.1le 3 octobre 2026 - NVIDIA :
ollama-nvidia.service, conteneurollama_nv, port11435, imagedocker.io/ollama/ollama:latest - Fichiers :
/home/loic/.config/containers/systemd/ollama-rocm.containeretollama-nvidia.container - Modèles partagés :
/media/loic/nem/ollama
L’API ROCm répond en version 0.35.1 au 3 octobre 2026, sur les deux instances (0.35.1 en 11434 et en 11435). Le tag :rocm est flottant ; pour figer une version, comparer son digest à un tag versionné tel que :0.32.3-rocm puis modifier le Quadlet.
L'instance NVIDIA reste dépendante de la cohérence entre le pilote noyau, les bibliothèques NVIDIA, le toolkit et le CDI.
Qwen3.8 (2026-08-19)
Modèles installés dans l’instance AMD/ROCm :
- `qwen3.8-q4-256k` : modèle officiel Qwen3.8 27B, Q4_K_M, environ 17 Go.
- `qwen3.8-q8-256k` : modèle officiel Qwen3.8 27B, Q8_0, environ 29 Go.
- `qwen3.8-abliterated-q4-256k` : `huihui_ai/Qwen3.8-abliterated:27b`, variante communautaire Q4, environ 17 Go.
Les trois modèles configurés utilisent `num_ctx=262144` et `temperature=0.2`. La variante abliterated n’est pas une publication officielle Alibaba/Ollama et peut avoir un comportement de sûreté différent.
Le Quadlet ROCm définit également `OLLAMA_CONTEXT_LENGTH=262144`, `OLLAMA_FLASH_ATTENTION=1`, `OLLAMA_KV_CACHE_TYPE=q8_0`, `OLLAMA_NUM_PARALLEL=1`, `OLLAMA_MAX_LOADED_MODELS=1` et `OLLAMA_LOAD_TIMEOUT=15m`. Le stockage partagé reste `/media/loic/nem/ollama`.
Les Modelfiles sont archivés dans `minidev/ollama-qwen38/` sur Nextcloud.
[À vérifier — 2026-10-03] Ce chemin n'a pas pu être résolu sur tas (ni minidev ni /home/loic/minidev n'existent) : le share Nextcloud correspondant n'est pas monté. Emplacement réel des Modelfiles non vérifié — corriger quand le share sera disponible. Le Q4 a été testé via l’API et a répondu correctement ; le test de génération a utilisé 4096 tokens uniquement pour limiter le coût du test, la configuration persistante restant à 256K.