Phi-3.5
ベースモデルofficialtext-generationvisionmoemultilinguallong-contextopen-source
2024年8月公開。Phi-3の多言語・MoE拡張版。mini（3.8B、多言語強化）、MoE（42B/6.6B活性化）、vision（4.2B）の3モデル。23言語対応（日本語含む）。128Kコンテキスト。Phi-3.5-MoEはLlama 3.1 8B、Mixtralを上回り、Gemini-1.5-Flash、GPT-4o-miniに匹敵。
技術仕様
アーキテクチャ
Dense Transformer (mini/vision), MoE 16 experts (MoE)
パラメータバリエーション
Phi-3.5-MoE Instruct(42B)
HuggingFace16エキスパートMoE。6.6B活性化で高効率推論。Llama 3.1 8B超。
MoEアクティブパラメータ: 6.6B
VRAM85GB
GGUFファイルは登録されていません
関連モデル
家系図
現在のモデル: Phi-3.5