AIwiki

Swallow (Llama 3)

ファインチューニング
開発者
東京工業大学 / 産総研
ライセンス
Llama 3 Community License
リリース日
2024/4/25
コンテキスト長
8,192 トークン
対応言語
ja, en
ベースモデル
meta-llama/Meta-Llama-3-8B
japanesemultilingual

Llama 3をベースにした日本語特化モデル。GQA採用により効率的な推論が可能。

HuggingFace

技術仕様

アーキテクチャ

Transformer with GQA

プロンプトテンプレート

フォーマット: llama-3
システムプロンプト:
<|start_header_id|>system<|end_header_id|>

{system}<|eot_id|>
ユーザープロンプト:
<|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|>
アシスタントプロンプト:
<|start_header_id|>assistant<|end_header_id|>
ストップトークン:
<|eot_id|><|end_of_text|>

パラメータバリエーション

Swallow 8B(8B)

HuggingFace

Llama 3 8Bベースの日本語特化モデル。

VRAM6GB
RAM16GB

GGUFファイルは登録されていません

Swallow 70B(70B)

HuggingFace

Llama 3 70Bベースの日本語特化モデル。

VRAM40GB
RAM140GB

GGUFファイルは登録されていません

関連モデル

LLaMA 1

4 バリエーション

Llama 2

6 バリエーション

Code Llama

4 バリエーション

Llama Guard 1

1 バリエーション

Spirit-LM

2 バリエーション

Swallow (Llama 2)

3 バリエーション

Llama 3

4 バリエーション

Llama Guard 2

1 バリエーション

ELYZA Japanese

1 バリエーション

Llama 3.1

6 バリエーション

Llama Guard 3

3 バリエーション

Swallow (Llama 3.1)

2 バリエーション

DeepSeek-R1-Distill-Llama

2 バリエーション

Llama 3.2

8 バリエーション

Llama 3.3

1 バリエーション

Swallow (Llama 3.3)

1 バリエーション

Llama 4

3 バリエーション

Llama Guard 4

1 バリエーション

家系図

現在のモデル: Swallow (Llama 3)