Code Llama
ファインチューニングofficialcoding
2023年8月24日公開（70Bは2024年1月追加）。Llama 2をベースに500億コードトークンで追加学習したコード特化モデル。16Kトークンで学習し、推論時は最大100Kトークンをサポート。Base、Python特化、Instructの3バリエーション。Infilling（FIM：コード穴埋め）機能対応（7B/13B/70B）。HumanEval最大67.8%、MBPP最大65.6%達成。
技術仕様
アーキテクチャ
Transformer with GQA (RoPE拡張: θ=1M)
パラメータバリエーション
Code Llama 7B(7B)
HuggingFace軽量コーディングモデル。Infilling対応。Base/Python/Instructの3バリエーション。
GGUFファイルは登録されていません
Code Llama 13B(13B)
HuggingFace中規模コーディングモデル。Infilling対応。Base/Python/Instructの3バリエーション。
GGUFファイルは登録されていません
Code Llama 34B(34B)
HuggingFace大規模コーディングモデル。Infilling非対応。HumanEval 51.8%、MBPP 55%達成。Base/Python/Instructの3バリエーション。
GGUFファイルは登録されていません
Code Llama 70B(70B)
HuggingFace最大コーディングモデル。2024年1月追加。1兆トークンで学習。Infilling対応。HumanEval 67.8%達成。
GGUFファイルは登録されていません
関連モデル
LLaMA 1
4 バリエーション
Llama 2
6 バリエーション
Llama Guard 1
1 バリエーション
Spirit-LM
2 バリエーション
Swallow (Llama 2)
3 バリエーション
Llama 3
4 バリエーション
Llama Guard 2
1 バリエーション
Swallow (Llama 3)
2 バリエーション
ELYZA Japanese
1 バリエーション
Llama 3.1
6 バリエーション
Llama Guard 3
3 バリエーション
Swallow (Llama 3.1)
2 バリエーション
DeepSeek-R1-Distill-Llama
2 バリエーション
Llama 3.2
8 バリエーション
Llama 3.3
1 バリエーション
Swallow (Llama 3.3)
1 バリエーション
Llama 4
3 バリエーション
Llama Guard 4
1 バリエーション
家系図
現在のモデル: Code Llama