Trace install tas - SGLang

Modèle:Projet

SGLang ROCm — déploiement préparé

Modèle:Encadré

Composants

Quadlet : /home/loic/.config/containers/systemd/sglang.container
Unité : sglang.service
Image : docker.io/lmsysorg/sglang:v0.5.17-rocm700-mi30x
Modèle : Qwen/Qwen2.5-Coder-32B-Instruct-AWQ
Poids : /media/loic/nem/sglang/models/Qwen2.5-Coder-32B-Instruct-AWQ
Taille des cinq safetensors : environ 19 Gio binaires, soit un peu plus de 20 Go décimaux
Port prévu : 127.0.0.1:30000
Volume conteneur : /models
GPU ciblé : Radeon RX 7900 XTX, 24 Gio, gfx1100

Procédure appliquée

Vérification de Podman rootless, de la VRAM et de l'espace disponible.
Création du répertoire persistant /media/loic/nem/sglang.
Import de l'image ROCm SGLang et création du Quadlet.
Téléchargement vérifiable du dépôt public Qwen avec reprise automatique.
Test d'accès aux périphériques AMD : SGLang voit bien la Radeon RX 7900 XTX.
Test de chargement réel du modèle.

Blocage identifié

Le test minimal suivant échoue dans l'image actuelle :

torch.ones(1, device="cuda")
HIP error: invalid device function

L'image mi30x détecte le GPU mais sa pile PyTorch/ROCm est compilée pour la famille Instinct. Les tentatives HSA_OVERRIDE_GFX_VERSION=10.3.0 et 11.0.0 n'ont pas rendu le service fonctionnel : AITER refuse gfx1030, tandis que gfx1100 reproduit l'erreur HIP. Le problème est donc une incompatibilité de kernels, pas un manque de VRAM ni un fichier de modèle incomplet.

Le service est laissé arrêté pour éviter un redémarrage en boucle. Il pourra reprendre avec une image SGLang/PyTorch compilée pour gfx1100, ou avec une image dédiée construite depuis une base ROCm Radeon. Le modèle et le Quadlet ne doivent pas être supprimés.

Contrôles et reprise

systemctl --user status sglang.service --no-pager
systemctl --user start sglang.service
curl -fsS http://127.0.0.1:30000/health
podman logs sglang

Sauvegardes

Déploiement : /home/loic/backups/sglang-20260818T204121+0200/
Quadlet avant le dernier test GPU : sglang.container.before-gfx-override
Sauvegardes des pages MediaWiki avant publication : sous-répertoire wiki/ du dossier ci-dessus