AIwiki

ChatGLM3-6B

指示チューニング
開発者
Zhipu AI / Tsinghua University
ライセンス
Apache 2.0
リリース日
2023/10/27
コンテキスト長
8,192 トークン
対応言語
zh, en
officialbilingualdialoguefunction-callingagent

ネイティブFunction Call、Code Interpreter、Agent機能を初搭載。MMLUで61.4、HumanEvalで58.5と大幅性能向上。32K/128Kコンテキスト対応版も提供。同サイズモデルで最高性能を達成。

HuggingFace論文GitHub

ベンチマーク

MMLU
61.4
HumanEval
58.5
MATH
25.7

ソース: ChatGLM3 Technical Report

技術仕様

アーキテクチャ

GLM Transformer with Multi-Head Attention

プロンプトテンプレート

フォーマット: chatglm3
システムプロンプト:
<|system|>
{system}
ユーザープロンプト:
<|user|>
{prompt}
アシスタントプロンプト:
<|assistant|>
ストップトークン:
<|user|><|observation|>

パラメータバリエーション

ChatGLM3-6B(6B)

HuggingFace

標準対話版。Function Call、Code Interpreter対応。

VRAM13GB
RAM16GB

GGUFファイルは登録されていません

ChatGLM3-6B-Base(6B)

HuggingFace

ベースモデル。ファインチューニング用。

VRAM13GB
RAM16GB

GGUFファイルは登録されていません

ChatGLM3-6B-32K(6B)

HuggingFace

32Kコンテキスト対応版。

VRAM16GB
RAM24GB

GGUFファイルは登録されていません

ChatGLM3-6B-128K(6B)

HuggingFace

128Kコンテキスト対応版。超長文処理に最適化。

VRAM24GB
RAM48GB

GGUFファイルは登録されていません

関連モデル

CodeGeeX

1 バリエーション

GLM-130B

3 バリエーション

ChatGLM-6B

4 バリエーション

ChatGLM2-6B

3 バリエーション

CodeGeeX2-6B

2 バリエーション

CogVLM

3 バリエーション

CogAgent

2 バリエーション

CogVLM2

2 バリエーション

GLM-4-9B

3 バリエーション

GLM-4V-9B

2 バリエーション

CodeGeeX4-ALL-9B

1 バリエーション

GLM-4-32B-0414

2 バリエーション

GLM-Z1

3 バリエーション

GLM-4.5

3 バリエーション

GLM-4.6

2 バリエーション

GLM-4.7

2 バリエーション

家系図

現在のモデル: ChatGLM3-6B