Qwen3

ベースモデル

開発者

Alibaba Cloud / Qwen Team

ライセンス

Apache 2.0

リリース日

2025/4/29

コンテキスト長

262,144 トークン

トレーニングトークン

36T

対応言語

en, zh, es, fr, de, ar, ru, ko, ja, th, vi, pt, it, hi, id

知識カットオフ

2025-Q1

officialmultilinguallong-contextmoe

2025年4月29日公開。36兆トークンで学習し、119言語に対応。256Kネイティブコンテキスト（1Mまで拡張可能）。GQA、QK LayerNorm、RoPE、SwiGLU、RMSNormを採用。Dense版（0.6B-32B）とMoE版（30B-A3B、235B-A22B）を提供。Thinkingモード（<think>タグ）による深い推論をサポート。

HuggingFace 論文 GitHub 公式サイト

ベンチマーク

MMLU-Pro

GPQA

77.5

IFEval

88.7

mmlu-redux

93.1

evalplus

87.9

ソース: Qwen3 Technical Report (arXiv:2505.09388)

技術仕様

アーキテクチャ

Decoder-only Transformer, GQA, QK LayerNorm, RoPE, SwiGLU, RMSNorm

プロンプトテンプレート

フォーマット: chatml-thinking

システムプロンプト:

<|im_start|>system
{system}<|im_end|>

ユーザープロンプト:

<|im_start|>user
{prompt}<|im_end|>

アシスタントプロンプト:

<|im_start|>assistant
<think>
{thinking}</think>
{response}<|im_end|>

軽量MoE版。3Bアクティブで高効率。

MoEアクティブパラメータ: 3B / 128 エキスパート数

VRAM60GB

GGUFファイルは登録されていません

Qwen3 235B-A22B (MoE)(235B/22B)

HuggingFace

フラッグシップMoE版。22Bアクティブで最高性能。

MoEアクティブパラメータ: 22B / 128 エキスパート数

VRAM470GB

GGUFファイルは登録されていません

家系図

現在のモデル: Qwen3

ベース

派生

表示中

Qwen3

ベンチマーク

技術仕様

アーキテクチャ

プロンプトテンプレート

パラメータバリエーション

Qwen3 0.6B(0.6B)

Qwen3 1.7B(1.7B)

Qwen3 4B(4B)

Qwen3 8B(8B)

Qwen3 14B(14B)

Qwen3 32B(32B)

Qwen3 30B-A3B (MoE)(30B/3B)

Qwen3 235B-A22B (MoE)(235B/22B)

関連モデル

Qwen1.5

CodeQwen1.5

Qwen2

Qwen2.5

Qwen2.5-Coder

Qwen2.5-Math

Qwen2.5-VL

QwQ

Qwen3-Coder

Qwen3-Embedding

Qwen3-VL

Qwen3-Next

家系図