Swallow (Llama 3.3)

ファインチューニング

開発者

東京工業大学 / 産総研

ライセンス

Llama 3.3 Community License

リリース日

2024/12/15

コンテキスト長

128,000 トークン

対応言語

ja, en

ベースモデル

meta-llama/Llama-3.3-70B

japanesemultilinguallong-context

Llama 3.3 70Bをベースにした最新の日本語特化モデル。高い性能と128Kコンテキスト対応。

HuggingFace

技術仕様

アーキテクチャ

Transformer with GQA

プロンプトテンプレート

フォーマット: llama-3

システムプロンプト:

<|start_header_id|>system<|end_header_id|>

{system}<|eot_id|>

ユーザープロンプト:

<|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|>

アシスタントプロンプト:

<|start_header_id|>assistant<|end_header_id|>

ストップトークン:

<|eot_id|><|end_of_text|>

パラメータバリエーション

Swallow 70B(70B)

HuggingFace

Llama 3.3 70Bベースの日本語特化モデル。最新のSwallowモデル。

VRAM40GB

RAM140GB

GGUFファイルは登録されていません

家系図

現在のモデル: Swallow (Llama 3.3)

ベース

FT

派生

表示中

Swallow (Llama 3.3)

技術仕様

アーキテクチャ

プロンプトテンプレート

パラメータバリエーション

Swallow 70B(70B)

関連モデル

LLaMA 1

Llama 2

Code Llama

Llama Guard 1

Spirit-LM

Swallow (Llama 2)

Llama 3

Llama Guard 2

Swallow (Llama 3)

ELYZA Japanese

Llama 3.1

Llama Guard 3

Swallow (Llama 3.1)

DeepSeek-R1-Distill-Llama

Llama 3.2

Llama 3.3

Llama 4

Llama Guard 4

家系図