Trace install tas - SGLang - Historique des versions

Admin : Ajout du commit local de déploiement SGLang

2026-08-20T12:27:12Z

Ajout du commit local de déploiement SGLang

← Version précédente		Version du 20 août 2026 à 14:27
Ligne 34 :		Ligne 34 :

	=== Construction RDNA3 et correctif ===		=== Construction RDNA3 et correctif ===
	Le dépôt de travail est <code>/media/loic/nem/sglang/build-rdna3/sglang-qwen38-current</code>, branche <code>deploy/qwen38-rdna3</code>, base SGLang <code>21c88f862</code>. L'image de base immuable est <code>localhost/sglang:qwen38-rdna3-21c88f8-base</code>. La couche finale se trouve dans <code>docker/rdna3-w8a8-runtime.Dockerfile</code>.		Le dépôt de travail est <code>/media/loic/nem/sglang/build-rdna3/sglang-qwen38-current</code>, branche <code>deploy/qwen38-rdna3</code>, base SGLang <code>21c88f862</code>, déploiement figé au commit local <code>19d7dd612</code>. L'image de base immuable est <code>localhost/sglang:qwen38-rdna3-21c88f8-base</code>. La couche finale se trouve dans <code>docker/rdna3-w8a8-runtime.Dockerfile</code>.

	Le correctif déterminant concerne le déport CPU. SGLang exécute les couches déportées avec <code>torch.func.functional_call</code>. La vue <code>attn.conv_weights</code>, créée pendant l'initialisation, restait attachée à l'ancien stockage au lieu du poids <code>conv1d.weight</code> substitué. Cette vue est maintenant rafraîchie dans le passage avant. Le test W8A8 est alors passé de sorties invalides à une génération exacte.		Le correctif déterminant concerne le déport CPU. SGLang exécute les couches déportées avec <code>torch.func.functional_call</code>. La vue <code>attn.conv_weights</code>, créée pendant l'initialisation, restait attachée à l'ancien stockage au lieu du poids <code>conv1d.weight</code> substitué. Cette vue est maintenant rafraîchie dans le passage avant. Le test W8A8 est alors passé de sorties invalides à une génération exacte.

Admin : Déploiement Qwen3.8 27B W8A8 validé sur RX 7900 XTX

2026-08-20T12:26:00Z

Déploiement Qwen3.8 27B W8A8 validé sur RX 7900 XTX

Voir les modifications

Daneel : Documenter le déploiement SGLang ROCm et le blocage gfx1100

2026-08-18T19:38:53Z

Documenter le déploiement SGLang ROCm et le blocage gfx1100

Nouvelle page

{{Projet|SGLang}}
== SGLang ROCm — déploiement préparé ==

{{Encadré|couleur=orange|titre=État au 18 août 2026|contenu=Le Quadlet, l'image et le modèle sont installés, mais le service est arrêté : l'image SGLang ROCm testée ne fournit pas les kernels PyTorch nécessaires à la Radeon RX 7900 XTX (gfx1100).}}

=== Composants ===
* Quadlet : <code>/home/loic/.config/containers/systemd/sglang.container</code>
* Unité : <code>sglang.service</code>
* Image : <code>docker.io/lmsysorg/sglang:v0.5.17-rocm700-mi30x</code>
* Modèle : <code>Qwen/Qwen2.5-Coder-32B-Instruct-AWQ</code>
* Poids : <code>/media/loic/nem/sglang/models/Qwen2.5-Coder-32B-Instruct-AWQ</code>
* Taille des cinq safetensors : environ 19 Gio binaires, soit un peu plus de 20 Go décimaux
* Port prévu : <code>127.0.0.1:30000</code>
* Volume conteneur : <code>/models</code>
* GPU ciblé : Radeon RX 7900 XTX, 24 Gio, <code>gfx1100</code>

=== Procédure appliquée ===
# Vérification de Podman rootless, de la VRAM et de l'espace disponible.
# Création du répertoire persistant <code>/media/loic/nem/sglang</code>.
# Import de l'image ROCm SGLang et création du Quadlet.
# Téléchargement vérifiable du dépôt public Qwen avec reprise automatique.
# Test d'accès aux périphériques AMD : SGLang voit bien la Radeon RX 7900 XTX.
# Test de chargement réel du modèle.

=== Blocage identifié ===
Le test minimal suivant échoue dans l'image actuelle :
<syntaxhighlight lang="text">
torch.ones(1, device="cuda")
HIP error: invalid device function
</syntaxhighlight>

L'image <code>mi30x</code> détecte le GPU mais sa pile PyTorch/ROCm est compilée pour la famille Instinct. Les tentatives <code>HSA_OVERRIDE_GFX_VERSION=10.3.0</code> et <code>11.0.0</code> n'ont pas rendu le service fonctionnel : AITER refuse <code>gfx1030</code>, tandis que <code>gfx1100</code> reproduit l'erreur HIP. Le problème est donc une incompatibilité de kernels, pas un manque de VRAM ni un fichier de modèle incomplet.

Le service est laissé arrêté pour éviter un redémarrage en boucle. Il pourra reprendre avec une image SGLang/PyTorch compilée pour <code>gfx1100</code>, ou avec une image dédiée construite depuis une base ROCm Radeon. Le modèle et le Quadlet ne doivent pas être supprimés.

=== Contrôles et reprise ===
<syntaxhighlight lang="bash">
systemctl --user status sglang.service --no-pager
systemctl --user start sglang.service
curl -fsS http://127.0.0.1:30000/health
podman logs sglang
</syntaxhighlight>

=== Sauvegardes ===
* Déploiement : <code>/home/loic/backups/sglang-20260818T204121+0200/</code>
* Quadlet avant le dernier test GPU : <code>sglang.container.before-gfx-override</code>
* Sauvegardes des pages MediaWiki avant publication : sous-répertoire <code>wiki/</code> du dossier ci-dessus

=== Références ===
* [https://github.com/sgl-project/sglang/blob/main/docs/platforms/amd_gpu.md SGLang — AMD GPU]
* [https://github.com/sgl-project/sglang/issues/30599 Suivi officiel de l'activation Radeon RDNA3/RDNA4]
* [https://huggingface.co/Qwen/Qwen2.5-Coder-32B-Instruct-AWQ Qwen2.5-Coder-32B-Instruct-AWQ]

Trace install tas - SGLang - Historique des versions

Admin : Ajout du commit local de déploiement SGLang

Admin : Déploiement Qwen3.8 27B W8A8 validé sur RX 7900 XTX

Daneel : Documenter le déploiement SGLang ROCm et le blocage gfx1100

Admin : Ajout du commit local de déploiement SGLang

Admin : Déploiement Qwen3.8 27B W8A8 validé sur RX 7900 XTX

Daneel : Documenter le déploiement SGLang ROCm et le blocage gfx1100