AIwiki

Llama 3.2

ベースモデル
開発者
Meta
ライセンス
Llama 3.2 Community License
リリース日
2024/9/25
コンテキスト長
128,000 トークン
トレーニングトークン
最大9T (1B/3B)
対応言語
en, de, fr, it, pt, hi, es, th
知識カットオフ
2023-12

2024年9月25日公開。エッジ/モバイル向け軽量テキストモデル（1B/3B）と初のマルチモーダルVisionモデル（11B/90B）を投入。軽量モデルはLlama 3.1 8Bからの構造化プルーニングと知識蒸留で開発。Visionモデルは60億画像-テキストペアで学習。Qualcomm・MediaTekと提携しモバイル最適化。Visionモデルは画像+テキスト入力に対応（EU制限あり）。

HuggingFaceGitHub

技術仕様

アーキテクチャ

Auto-regressive Transformer (GQA) / Vision Adapter

パラメータバリエーション

Llama 3.2 1B(1.23B)

HuggingFace

エッジ向け超軽量ベースモデル。Llama 3.1 8Bからのpruning+蒸留。

GGUFファイルは登録されていません

Llama 3.2 1B Instruct(1.23B)

HuggingFace

指示追従最適化版。要約・リライト等のテキストタスクに最適化。

GGUFファイルは登録されていません

Llama 3.2 3B(3.21B)

HuggingFace

エッジ向け軽量ベースモデル。Llama 2 7Bを凌駕する性能。

GGUFファイルは登録されていません

Llama 3.2 3B Instruct(3.21B)

HuggingFace

指示追従最適化版。モバイルデバイスでの動作を想定。

GGUFファイルは登録されていません

Llama 3.2 11B Vision(10.6B)

HuggingFace

マルチモーダルVisionベースモデル。Llama 3.1 8B + Vision Adapter（3B）。画像理解・チャート解釈が可能。

GGUFファイルは登録されていません

Llama 3.2 11B Vision Instruct(10.6B)

HuggingFace

Vision指示追従最適化版。300万以上の合成例でInstruction tuning。

GGUFファイルは登録されていません

Llama 3.2 90B Vision(88.8B)

HuggingFace

大規模マルチモーダルVisionモデル。Llama 3.1 70B + Vision Adapter（20B）。

GGUFファイルは登録されていません

Llama 3.2 90B Vision Instruct(88.8B)

HuggingFace

大規模Vision指示追従最適化版。高度な画像理解と複雑なチャート解釈が可能。

GGUFファイルは登録されていません

関連モデル

LLaMA 1

4 バリエーション

Llama 2

6 バリエーション

Code Llama

4 バリエーション

Llama Guard 1

1 バリエーション

Spirit-LM

2 バリエーション

Swallow (Llama 2)

3 バリエーション

Llama 3

4 バリエーション

Llama Guard 2

1 バリエーション

Swallow (Llama 3)

2 バリエーション

ELYZA Japanese

1 バリエーション

Llama 3.1

6 バリエーション

Llama Guard 3

3 バリエーション

Swallow (Llama 3.1)

2 バリエーション

DeepSeek-R1-Distill-Llama

2 バリエーション

Llama 3.3

1 バリエーション

Swallow (Llama 3.3)

1 バリエーション

Llama 4

3 バリエーション

Llama Guard 4

1 バリエーション

家系図

現在のモデル: Llama 3.2