AIwiki

Qwen1.5

ベースモデル
開発者
Alibaba Cloud / Qwen Team
ライセンス
Apache 2.0 (0.5B-32B), Qwen License (72B, 110B)
リリース日
2024/2/4
コンテキスト長
32,768 トークン
トレーニングトークン
3T
対応言語
zh, en, fr, es, de, ru, ja, ko, vi, th, ar, id
知識カットオフ
2023
officialmultilingual

2024年2月4日公開。Qwenシリーズの改良版で、GQA、SwiGLU、RMSNormを採用したDecoder-onlyアーキテクチャ。3兆トークンで学習し、32Kコンテキストをサポート。0.5Bから110Bまでの幅広いサイズラインナップとMoE版も提供。12言語に対応し、ChatML形式のプロンプトフォーマットを使用。

HuggingFaceGitHub公式サイト

ベンチマーク

MMLU
77.5
HumanEval
41.5
MATH
34.1
gsm8k
79.5
c-eval
84.1

ソース: Qwen Blog 2024-02

技術仕様

アーキテクチャ

Decoder-only Transformer, GQA with QKV bias, RoPE, SwiGLU, RMSNorm

プロンプトテンプレート

フォーマット: chatml
システムプロンプト:
<|im_start|>system
{system}<|im_end|>
ユーザープロンプト:
<|im_start|>user
{prompt}<|im_end|>
アシスタントプロンプト:
<|im_start|>assistant
ストップトークン:
<|im_end|><|endoftext|>

パラメータバリエーション

Qwen1.5 0.5B(0.5B)

HuggingFace

最軽量モデル。組み込み・エッジ向け。

VRAM1GB

GGUFファイルは登録されていません

Qwen1.5 1.8B(1.8B)

HuggingFace

軽量モデル。モバイル・IoT向け。

VRAM4GB

GGUFファイルは登録されていません

Qwen1.5 4B(4B)

HuggingFace

バランス型軽量モデル。

VRAM8GB

GGUFファイルは登録されていません

Qwen1.5 7B(7B)

HuggingFace

標準サイズモデル。汎用利用に最適。

VRAM14GB

GGUFファイルは登録されていません

Qwen1.5 14B(14B)

HuggingFace

中型モデル。高い推論能力。

VRAM28GB

GGUFファイルは登録されていません

Qwen1.5 32B(32B)

HuggingFace

大型モデル。複雑なタスクに対応。

VRAM65GB

GGUFファイルは登録されていません

Qwen1.5 72B(72B)

HuggingFace

フラッグシップモデル。最高性能。

VRAM145GB

GGUFファイルは登録されていません

Qwen1.5 110B(110B)

HuggingFace

最大モデル。研究・エンタープライズ向け。

VRAM220GB

GGUFファイルは登録されていません

Qwen1.5 MoE-A2.7B(14.3B/2.7B)

HuggingFace

Mixture of Experts版。高効率。

MoEアクティブパラメータ: 2.7B / 64 エキスパート数
VRAM28GB

GGUFファイルは登録されていません

関連モデル

CodeQwen1.5

2 バリエーション

Qwen2

5 バリエーション

Qwen2.5

7 バリエーション

Qwen2.5-Coder

6 バリエーション

Qwen2.5-Math

4 バリエーション

Qwen2.5-VL

4 バリエーション

QwQ

2 バリエーション

Qwen3

8 バリエーション

Qwen3-Coder

2 バリエーション

Qwen3-Embedding

6 バリエーション

Qwen3-VL

6 バリエーション

Qwen3-Next

5 バリエーション

家系図

現在のモデル: Qwen1.5