Phi-1
ベースモデルofficialcode-generationtextbook-quality-dataefficientopen-source
Microsoft Research初の「Textbooks Are All You Need」モデル。2023年6月公開。1.3Bパラメータながら、Pythonコード生成で当時の最高水準を達成。Webから抽出した教科書品質コードデータ60億+GPT-3.5生成の合成データ10億トークンで学習。高品質データキュレーションの重要性を実証。
ベンチマーク
HumanEval
50.6
mbpp
55.5
ソース: https://arxiv.org/abs/2306.11644
技術仕様
アーキテクチャ
Dense decoder-only Transformer, 24 layers, hidden size 2048, Python code specialized
パラメータバリエーション
Phi-1.5(1.3B)
HuggingFace2023年9月リリース。汎用拡張版。NLP合成テキスト追加で常識推論・言語理解を強化。LLaMA 2 7Bを多くのベンチマークで上回る。
VRAM3GB
GGUFファイルは登録されていません
関連モデル
家系図
現在のモデル: Phi-1