openPangu 2.0 en open source
MoE Ascend 505B, contexte 512K, stack complet sans NVIDIA

Profondeur technique : 7 composants et architecture

1. 01

   Architecture du modèle

2. 02

   Poids (Flash en ligne, Pro en juillet)

3. 03

   Rapport technique

4. 04

   Code d'inférence + opérateurs

5. 05

   Code de pré-entraînement (S2)

6. 06

   Code de post-entraînement SFT/RLHF (S2)

7. 07

   Opérateurs Ascend personnalisés (S2)

Innovations clés : routage mHC, optimiseur Muon, attention modulaire ModAttn, attention ultra-sparse DSA+SWA (Flash).

Stack logiciel : CANN (équivalent CUDA) + torch_npu pour PyTorch sur Ascend.

Acquisition et déploiement

Option A : API Huawei Cloud ModelArts

curl -X POST "https://modelarts.${REGION}.myhuaweicloud.com/v1/infers/openpangu-2-flash/chat/completions" \
  -H "Content-Type: application/json" \
  -H "X-Auth-Token: ${TOKEN}" \
  -d '{
    "model": "openpangu-2.0-flash",
    "messages": [{"role": "user", "content": "Expliquez l architecture MoE"}],
    "max_tokens": 1024,
    "temperature": 0.7
  }'

Option B : auto-hébergement GitCode (Ascend 910B)

python inference.py \
  --model_path ./openPangu-Flash \
  --device npu:0 \
  --context_length 512000 \
  --precision bf16

Dépôts : GitCode Ascend Tribe — openPangu-2.0-Flash, openPangu-2.0-Flash-Int8, openPangu-2.0-Infer, openPangu-2.0-Op.

Guide en six étapes et pont NodeMini

1. 01

   Créer un compte Huawei Cloud et accéder à ModelArts → AI Gallery → openPangu 2.0.

2. 02

   Valider l'endpoint API via curl ; mesurer latence et coût par token.

3. 03

   Cloner GitCode : poids Flash + dépôt openPangu-2.0-Infer.

4. 04

   Installer CANN + torch_npu ; valider l'inférence bf16 mono-carte.

5. 05

   Évaluer Flash-Int8 : compromis mémoire/qualité en environnement contraint.

6. 06

   Planifier le déploiement Pro multi-cartes pour les charges 512K.

7. 07

   Fixer le nœud hybride : prefill sensible et agents CLI longue durée sur Mac cloud SSH. Tarifs : tarifs location, connexion : centre d'aide.

Sans cluster Ascend, un Mac Mini cloud 96 Go UMA permet les tests Flash-Int8 et la séparation prefill/agent. NodeMini unifie xcodebuild, Keychain, notarytool et sessions agent longues sur un seul nœud SSH.