AIwiki

Swallow (Llama 3.1)

ファインチューニング
開発者
東京工業大学 / 産総研
ライセンス
Llama 3.1 Community License
リリース日
2024/8/1
コンテキスト長
128,000 トークン
対応言語
ja, en
ベースモデル
meta-llama/Llama-3.1-8B
japanesemultilinguallong-context

Llama 3.1をベースにした日本語特化モデル。128Kコンテキスト対応。

HuggingFace

技術仕様

アーキテクチャ

Transformer with GQA

プロンプトテンプレート

フォーマット: llama-3
システムプロンプト:
<|start_header_id|>system<|end_header_id|>

{system}<|eot_id|>
ユーザープロンプト:
<|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|>
アシスタントプロンプト:
<|start_header_id|>assistant<|end_header_id|>
ストップトークン:
<|eot_id|><|end_of_text|>

パラメータバリエーション

Swallow 8B(8B)

HuggingFace

Llama 3.1 8Bベースの日本語特化モデル。128Kコンテキスト対応。

VRAM6GB
RAM16GB

GGUFファイルは登録されていません

Swallow 70B(70B)

HuggingFace

Llama 3.1 70Bベースの日本語特化モデル。128Kコンテキスト対応。

VRAM40GB
RAM140GB

GGUFファイルは登録されていません

関連モデル

LLaMA 1

4 バリエーション

Llama 2

6 バリエーション

Code Llama

4 バリエーション

Llama Guard 1

1 バリエーション

Spirit-LM

2 バリエーション

Swallow (Llama 2)

3 バリエーション

Llama 3

4 バリエーション

Llama Guard 2

1 バリエーション

Swallow (Llama 3)

2 バリエーション

ELYZA Japanese

1 バリエーション

Llama 3.1

6 バリエーション

Llama Guard 3

3 バリエーション

DeepSeek-R1-Distill-Llama

2 バリエーション

Llama 3.2

8 バリエーション

Llama 3.3

1 バリエーション

Swallow (Llama 3.3)

1 バリエーション

Llama 4

3 バリエーション

Llama Guard 4

1 バリエーション

家系図

現在のモデル: Swallow (Llama 3.1)