AIwiki

Llama 3.1

ベースモデル
開発者
Meta
ライセンス
Llama 3.1 Community License
リリース日
2024/7/23
コンテキスト長
128,000 トークン
トレーニングトークン
15T+ (405B: 15.6T)
対応言語
en, de, fr, it, pt, hi, es, th
知識カットオフ
2023-12

2024年7月23日公開。コンテキスト長を128Kトークンに16倍拡張。405Bパラメータの史上最大オープンウェイトモデルを投入し、GPT-4oやClaude 3.5 Sonnetと同等の性能を達成。8言語の多言語対応とツール統合機能を実装。16,000基以上のH100 GPUで学習（405B）。合成データ生成やモデル蒸留の親モデルとしても活用推奨。

HuggingFace論文GitHub公式サイト

技術仕様

アーキテクチャ

Optimized Decoder-only Transformer (全モデルGQA)

パラメータバリエーション

Llama 3.1 8B(8B)

HuggingFace

軽量ベースモデル。128Kコンテキスト、多言語対応、ツール使用機能。1.46M GPU時間で学習。

GGUFファイルは登録されていません

Llama 3.1 8B Instruct(8B)

HuggingFace

指示追従最適化版。HumanEval 72.6%達成。

GGUFファイルは登録されていません

Llama 3.1 70B(70B)

HuggingFace

大規模ベースモデル。128Kコンテキスト、GQA採用。7.0M GPU時間で学習。

GGUFファイルは登録されていません

Llama 3.1 70B Instruct(70B)

HuggingFace

指示追従最適化版。

GGUFファイルは登録されていません

Llama 3.1 405B(405B)

HuggingFace

史上最大のオープンウェイトモデル。MMLU 5-shot 87.3%達成。30.84M GPU時間で学習。FP8量子化でシングルノード実行可能。

GGUFファイルは登録されていません

Llama 3.1 405B Instruct(405B)

HuggingFace

指示追従最適化版。HumanEval 89.0%達成。合成データ生成・蒸留用の親モデルとして推奨。

GGUFファイルは登録されていません

関連モデル

LLaMA 1

4 バリエーション

Llama 2

6 バリエーション

Code Llama

4 バリエーション

Llama Guard 1

1 バリエーション

Spirit-LM

2 バリエーション

Swallow (Llama 2)

3 バリエーション

Llama 3

4 バリエーション

Llama Guard 2

1 バリエーション

Swallow (Llama 3)

2 バリエーション

ELYZA Japanese

1 バリエーション

Llama Guard 3

3 バリエーション

Swallow (Llama 3.1)

2 バリエーション

DeepSeek-R1-Distill-Llama

2 バリエーション

Llama 3.2

8 バリエーション

Llama 3.3

1 バリエーション

Swallow (Llama 3.3)

1 バリエーション

Llama 4

3 バリエーション

Llama Guard 4

1 バリエーション

家系図

現在のモデル: Llama 3.1