CodeGemma
指示チューニングofficialcodingfill-in-middleinstruction-tuned
2024年4月9日公開（v1.1は5月）。Gemmaベースのコーディング特化モデル。Fill-in-the-Middle（FIM）学習（80% FIM率、50-50 PSM/SPM）採用。Dependency Graph-based Packing、Unit Test-based Lexical Packingで効率化。C++、C#、Go、Java、JavaScript、Kotlin、Python、Rust等対応。
ベンチマーク
HumanEval
60.4
humaneval-base
44.4
humaneval-plus
54.9
mbpp
67.2
ソース: https://arxiv.org/abs/2406.11409
技術仕様
アーキテクチャ
Gemma base, Fill-in-the-Middle (FIM), Dependency Graph-based Packing
プロンプトテンプレート
フォーマット: gemma-fim
ユーザープロンプト:
<start_of_turn>user
{user_message}<end_of_turn>アシスタントプロンプト:
<start_of_turn>model
{assistant_response}<end_of_turn>ストップトークン:
<end_of_turn><|file_separator|>パラメータバリエーション
関連モデル
家系図
現在のモデル: CodeGemma