AIwiki

Gemma 2

ベースモデル
開発者
Google DeepMind
ライセンス
Gemma Terms of Use
リリース日
2024/6/27
コンテキスト長
8,192 トークン
トレーニングトークン
13T (27B), 8T (9B)
対応言語
en
知識カットオフ
2024-Q1
ベースモデル
gemma
officialtext-generationinstruction-tunedknowledge-distillation

2024年6月27日公開。Gemmaの後継モデル。13T（27B）/8T（9B）トークン学習。Interleaved Local-Global Sliding Window Attention、Logit Soft-capping、GQA採用。2B/9Bは知識蒸留で学習。

HuggingFace論文GitHub公式サイト

ベンチマーク

MMLU
75.2
HumanEval
51.8
MATH
46.6
gsm8k
74
arc-c
71.4

ソース: https://ai.google.dev/gemma/docs/model_card_2

技術仕様

アーキテクチャ

Decoder-only Transformer, Interleaved Local-Global Sliding Window Attention, Logit Soft-capping, GQA, RoPE, SwiGLU, RMSNorm, Vocab 256K

プロンプトテンプレート

フォーマット: gemma
ユーザープロンプト:
<start_of_turn>user
{user_message}<end_of_turn>
アシスタントプロンプト:
<start_of_turn>model
{assistant_response}<end_of_turn>
ストップトークン:
<end_of_turn><eos>

パラメータバリエーション

Gemma 2 2B(2B)

HuggingFace

軽量版。26レイヤー、8/4 Q/KVヘッド。知識蒸留で学習。

VRAM5GB

GGUFファイルは登録されていません

Gemma 2 2B Instruct(2B)

HuggingFace

2B指示チューニング版。

VRAM5GB

GGUFファイルは登録されていません

Gemma 2 9B(9B)

HuggingFace

中型版。42レイヤー、16/8 Q/KVヘッド。知識蒸留で学習。

VRAM22GB

GGUFファイルは登録されていません

Gemma 2 9B Instruct(9B)

HuggingFace

9B指示チューニング版。

VRAM22GB

GGUFファイルは登録されていません

Gemma 2 27B(27B)

HuggingFace

フラッグシップ版。46レイヤー、32/16 Q/KVヘッド。

VRAM65GB

GGUFファイルは登録されていません

Gemma 2 27B Instruct(27B)

HuggingFace

27B指示チューニング版。

VRAM65GB

GGUFファイルは登録されていません

関連モデル

Gemma

4 バリエーション

CodeGemma

4 バリエーション

ShieldGemma

3 バリエーション

Gemma 3

10 バリエーション

ShieldGemma 2

1 バリエーション

TranslateGemma

3 バリエーション

Gemma 3n

2 バリエーション

FunctionGemma

1 バリエーション

EmbeddingGemma

1 バリエーション

家系図

現在のモデル: Gemma 2