Phi-3
ベースモデルofficialtext-generationvisionlong-contexton-deviceopen-source
2024年4月公開（Microsoft Build 2024）。初の商用対応SLM。mini（3.8B）、small（7B）、medium（14B）、vision（4.2B）の4サイズ展開。SFT、DPO、RLHFで安全性強化。スマートフォン上で実行可能。Phi-3-miniはMixtral 8x7B、GPT-3.5に匹敵。
ベンチマーク
MMLU
69
HumanEval
58.5
GPQA
29.2
hellaswag
77.4
arc-c
85.7
mt-bench
8.38
ソース: https://arxiv.org/abs/2404.14219
技術仕様
アーキテクチャ
Dense decoder-only Transformer, SFT + DPO + RLHF
プロンプトテンプレート
フォーマット: phi-3
システムプロンプト:
<|system|>
{system_prompt}<|end|>ユーザープロンプト:
<|user|>
{user_message}<|end|>アシスタントプロンプト:
<|assistant|>
{assistant_response}<|end|>ストップトークン:
<|end|><|endoftext|>パラメータバリエーション
Phi-3-medium 4K Instruct(14B)
HuggingFace14Bパラメータ。Gemini 1.0 Proを上回る。MMLU 78%達成。
VRAM30GB
GGUFファイルは登録されていません
Phi-3-vision 128K Instruct(4.2B)
HuggingFace4.2Bパラメータ。マルチモーダル対応。Claude-3 Haikuを上回る。
VRAM10GB
GGUFファイルは登録されていません
関連モデル
家系図
現在のモデル: Phi-3