CodeQwen1.5

ベースモデル
開発者
Alibaba Cloud / Qwen Team
ライセンス
Apache 2.0
リリース日
2024/4/16
コンテキスト長
65,536 トークン
トレーニングトークン
~3T
対応言語
Python, JavaScript, TypeScript, Java, C++, C, Go, Rust, PHP, Ruby
ベースモデル
Qwen1.5-7B
officialcoding

2024年4月16日公開。Qwen1.5-7Bベースのコード特化モデル。約3兆トークンのコード関連データで学習。92言語のプログラミング言語をサポート。64Kコンテキスト対応。Fill-in-the-Middle(FIM)によるコード補完をサポート。HumanEval 83.5%(Chat版)、SWE-BenchでGPT-3.5超え。

ベンチマーク

HumanEval
83.5
humaneval-base
51.8
humaneval-plus
78.7
mbpp
77.7
swe-bench
0.89

ソース: CodeQwen1.5 Blog 2024-04

技術仕様

アーキテクチャ

Qwen1.5 base, GQA

プロンプトテンプレート

フォーマット: fim
ユーザープロンプト:
<fim_prefix>{prefix}<fim_suffix>{suffix}<fim_middle>
ストップトークン:
<|endoftext|>

パラメータバリエーション

CodeQwen1.5 7B Base(7B)

HuggingFace

ベースモデル。FIMコード補完に対応。

VRAM14GB

GGUFファイルは登録されていません

CodeQwen1.5 7B Chat(7B)

HuggingFace

Chat版。HumanEval 83.5%達成。

VRAM14GB

GGUFファイルは登録されていません

家系図

現在のモデル: CodeQwen1.5