Llama 3
ベースモデルofficialmultilingual
2024年4月18日公開。語彙サイズを128Kトークンに4倍拡大し、15兆トークン以上で学習した第3世代モデル。全サイズでGQA採用。8Bモデルで従来のLlama 2 70Bに匹敵する性能を実現。事前学習・微調整ともにMetaユーザーデータを含まないことを明言。
技術仕様
アーキテクチャ
Auto-regressive Decoder-only Transformer (全モデルGQA)
プロンプトテンプレート
フォーマット: llama-3
システムプロンプト:
<|start_header_id|>system<|end_header_id|>
{system}<|eot_id|>ユーザープロンプト:
<|start_header_id|>user<|end_header_id|>
{prompt}<|eot_id|>アシスタントプロンプト:
<|start_header_id|>assistant<|end_header_id|>
ストップトークン:
<|eot_id|><|end_of_text|>パラメータバリエーション
関連モデル
LLaMA 1
4 バリエーション
Llama 2
6 バリエーション
Code Llama
4 バリエーション
Llama Guard 1
1 バリエーション
Spirit-LM
2 バリエーション
Swallow (Llama 2)
3 バリエーション
Llama Guard 2
1 バリエーション
Swallow (Llama 3)
2 バリエーション
ELYZA Japanese
1 バリエーション
Llama 3.1
6 バリエーション
Llama Guard 3
3 バリエーション
Swallow (Llama 3.1)
2 バリエーション
DeepSeek-R1-Distill-Llama
2 バリエーション
Llama 3.2
8 バリエーション
Llama 3.3
1 バリエーション
Swallow (Llama 3.3)
1 バリエーション
Llama 4
3 バリエーション
Llama Guard 4
1 バリエーション
家系図
現在のモデル: Llama 3