Qwen2.5-Math

ベースモデル
開発者
Alibaba Cloud / Qwen Team
ライセンス
Apache 2.0
リリース日
2024/9/19
コンテキスト長
4,096 トークン
トレーニングトークン
1T+
対応言語
zh, en
知識カットオフ
2024
ベースモデル
Qwen2.5
officialmath

2024年9月19日公開。1兆トークン以上(Qwen Math Corpus v2)で学習した数学特化モデル。Chain-of-Thought(CoT)推論とTool-integrated Reasoning(TIR、Pythonインタプリタ使用)をサポート。中国語・英語バイリンガル。MATH 85.9%(Greedy)、TIR使用時は92.9%(RM@8)を達成。

ベンチマーク

MATH
85.9
gsm8k
95.2
mmlu-stem
81.5
olympiadbench
44
aime24
21
cmath
92.3
gaokao-math
72.8

ソース: Qwen2.5-Math Technical Report (arXiv:2409.12122)

技術仕様

アーキテクチャ

Qwen2.5 base, Chain-of-Thought reasoning, Tool-integrated Reasoning (TIR)

プロンプトテンプレート

フォーマット: chatml-math
システムプロンプト:
<|im_start|>system
Please reason step by step, and put your final answer within \boxed{}.<|im_end|>
ユーザープロンプト:
<|im_start|>user
{prompt}<|im_end|>
アシスタントプロンプト:
<|im_start|>assistant
ストップトークン:
<|im_start|><|im_end|>

パラメータバリエーション

Qwen2.5-Math 1.5B(1.5B)

HuggingFace

軽量版。基本的な数学推論に対応。

VRAM4GB

GGUFファイルは登録されていません

Qwen2.5-Math 7B(7B)

HuggingFace

標準版。高度な数学推論に対応。

VRAM16GB

GGUFファイルは登録されていません

Qwen2.5-Math 72B(72B)

HuggingFace

フラッグシップ版。MATH 85.9%達成。

VRAM150GB

GGUFファイルは登録されていません

Qwen2.5-Math-RM 72B(72B)

HuggingFace

Reward Model版。TIR評価用。

VRAM150GB

GGUFファイルは登録されていません

家系図

現在のモデル: Qwen2.5-Math