Qwen3-Next

ベースモデル

開発者

Alibaba Cloud / Qwen Team

ライセンス

Apache 2.0

リリース日

2025/9/10

コンテキスト長

262,144 トークン

トレーニングトークン

15T

対応言語

en, zh, es, fr, de, ar, ru, ko, ja, th, vi, pt, it, hi, id

知識カットオフ

2025-H1

officialmultilinguallong-contextmoe

2025年9月10日公開。革新的なHybrid Transformer-Mambaアーキテクチャを採用。80Bパラメータながら3Bのみアクティブで高効率。256Kネイティブコンテキスト（1Mまで拡張可能）。Gated DeltaNet（線形アテンション）とHigh-Sparsity MoE（512エキスパート、10アクティブ）を組み合わせ、Multi-Token Prediction（MTP）も実装。

HuggingFace 論文 GitHub 公式サイト

ベンチマーク

MMLU-Pro

80.6

GPQA

72.9

IFEval

87.6

mmlu-redux

90.9

livecodebnech-v6

56.6

arena-hard-v2

82.7

ruler-1m

80.3

ソース: Qwen3-Next HuggingFace Model Card

技術仕様

アーキテクチャ

Hybrid Transformer-Mamba, Gated DeltaNet, High-Sparsity MoE (512 experts), Multi-Token Prediction

プロンプトテンプレート

フォーマット: chatml-thinking

システムプロンプト:

<|im_start|>system
{system}<|im_end|>

ユーザープロンプト:

<|im_start|>user
{prompt}<|im_end|>

アシスタントプロンプト:

<|im_start|>assistant
<think>
{thinking}</think>
{response}<|im_end|>

ストップトークン:

<|im_end|></s>