QwQ
指示チューニングofficialmath
2025年3月6日公開（Preview: 2024年11月28日）。推論特化モデル「Qwen with Questions」。o1-miniを大幅に上回る性能（AIME24: 79.5% vs 63.6%、LiveCodeBench: 63.4% vs 53.8%）。Chain-of-Thought推論で複雑な問題を段階的に解決。128Kコンテキスト、29言語以上対応。
ベンチマーク
GPQA
65.2
IFEval
83.9
aime24
79.5
livecodebnech
63.4
livebench
73.1
math-500
90.6
ソース: QwQ Blog 2025-03
技術仕様
アーキテクチャ
32.5B parameters, Transformer decoder-only, RoPE, SwiGLU, RMSNorm, GQA, YaRN
プロンプトテンプレート
フォーマット: chatml-reasoning
システムプロンプト:
<|im_start|>system You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step.<|im_end|>
ユーザープロンプト:
<|im_start|>user
{prompt}<|im_end|>アシスタントプロンプト:
<|im_start|>assistant
<think>
{reasoning}</think>
{response}<|im_end|>ストップトークン:
<|im_start|><|im_end|>パラメータバリエーション
関連モデル
家系図
現在のモデル: QwQ