openPangu 2.0 в open source
Ascend 505B MoE, 512K контекст, zero NVIDIA в пайплайне

7 компонентов и архитектурный deep dive

1. 01

   Архитектура модели

2. 02

   Веса (Flash live, Pro в июле)

3. 03

   Technical report

4. 04

   Inference + training ops

5. 05

   Pre-training code (H2)

6. 06

   Post-training code SFT/RLHF (H2)

7. 07

   Кастомные Ascend ops (H2)

Большинство OSS-моделей отдают weights + inference. Полный training stack на frontier scale — редкость. Здесь планируют все семь.

Ключевые фичи архитектуры

• mHC routing — combinatorial expert routing, меньше load imbalance
• Muon optimizer — second-order momentum от Microsoft research
• ModAttn — modular attention под 512K без OOM на каждом шаге
• DSA+SWA (только Flash) — ultra-sparse attention, sparsity 28:1

Стек: CANN (CUDA-аналог) + import torch_npu — один импорт переключает PyTorch на NPU.

Деплой: ModelArts API и GitCode self-host

Вариант A — ModelArts (copy-paste curl)

curl -X POST "https://modelarts.${REGION}.myhuaweicloud.com/v1/infers/openpangu-2-flash/chat/completions" \
  -H "Content-Type: application/json" \
  -H "X-Auth-Token: ${TOKEN}" \
  -d '{
    "model": "openpangu-2.0-flash",
    "messages": [{"role": "user", "content": "Объясни MoE простыми словами"}],
    "max_tokens": 1024,
    "temperature": 0.7
  }'

Вариант B — GitCode, single Ascend 910B

python inference.py \
  --model_path ./openPangu-Flash \
  --device npu:0 \
  --context_length 512000 \
  --precision bf16

Репозитории: GitCode Ascend Tribe — openPangu-2.0-Flash, openPangu-2.0-Flash-Int8, openPangu-2.0-Infer, openPangu-2.0-Op.

6+ шагов деплоя и мост к NodeMini

1. 01

   Регистрация Huawei Cloud → ModelArts → AI Gallery → подписка на openPangu 2.0.

2. 02

   Smoke test API через curl; замерь latency и $/token.

3. 03

   Клонируй GitCode: Flash weights + openPangu-2.0-Infer.

4. 04

   Подними CANN + torch_npu, прогони bf16 single-card infer.

5. 05

   Бенчмаркни Flash-Int8 — memory vs quality tradeoff.

6. 06

   Спланируй Pro multi-card для 512K workloads (8-card distributed).

7. 07

   Зафиксируй hybrid node: sensitive prefill и long-running CLI agents на облачном Mac с SSH. Тарифы: цены аренды, setup: help center.

Нет Ascend-кластера? 96GB UMA Mac Mini cloud — для Flash-Int8 экспериментов и prefill/agent split. NodeMini держит xcodebuild, Keychain, notarytool и многочасовые agent-сессии на одном SSH-узле.