Llama 3.3
指示チューニングofficialcodingmathmultilinguallong-context
2024年12月6日公開。70Bパラメータで405Bモデルに匹敵する性能を実現した効率特化モデル。Llama 3.1 405Bからの蒸留技術と最新のポストトレーニング技術を70Bサイズに凝縮。Instruction-tuned版のみ提供。MATH (CoT)では77.0%とLlama 3.1 405Bの73.8%を上回る。
ベンチマーク
MMLU
86
MMLU-Pro
55
HumanEval
88.4
MATH
77
GPQA
50.5
IFEval
92.1
ソース: Meta Official Model Card 2024-12
技術仕様
アーキテクチャ
Auto-regressive Transformer (GQA, SFT + RLHF)
プロンプトテンプレート
フォーマット: llama-3
システムプロンプト:
<|start_header_id|>system<|end_header_id|>
{system}<|eot_id|>ユーザープロンプト:
<|start_header_id|>user<|end_header_id|>
{prompt}<|eot_id|>アシスタントプロンプト:
<|start_header_id|>assistant<|end_header_id|>
ストップトークン:
<|eot_id|><|end_of_text|>パラメータバリエーション
関連モデル
LLaMA 1
4 バリエーション
Llama 2
6 バリエーション
Code Llama
4 バリエーション
Llama Guard 1
1 バリエーション
Spirit-LM
2 バリエーション
Swallow (Llama 2)
3 バリエーション
Llama 3
4 バリエーション
Llama Guard 2
1 バリエーション
Swallow (Llama 3)
2 バリエーション
ELYZA Japanese
1 バリエーション
Llama 3.1
6 バリエーション
Llama Guard 3
3 バリエーション
Swallow (Llama 3.1)
2 バリエーション
DeepSeek-R1-Distill-Llama
2 バリエーション
Llama 3.2
8 バリエーション
Swallow (Llama 3.3)
1 バリエーション
Llama 4
3 バリエーション
Llama Guard 4
1 バリエーション
家系図
現在のモデル: Llama 3.3