AIwiki

ChatGLM-6B

指示チューニング
開発者
Zhipu AI / Tsinghua University
ライセンス
Apache 2.0
リリース日
2023/3/14
コンテキスト長
2,048 トークン
対応言語
zh, en
officialbilingualdialogue

コンシューマー向けGPUで動作可能な初のGLM対話モデル。INT4量子化で6GB VRAMで推論可能。中国語・英語のバイリンガル対応。GLM-130Bの技術を小型化し、ローカル実行を実現。

HuggingFaceGitHub

ベンチマーク

MMLU
25.2

ソース: ChatGLM Technical Report

技術仕様

アーキテクチャ

GLM Transformer

プロンプトテンプレート

フォーマット: chatglm
ユーザープロンプト:
[Round {n}]
问：{prompt}
アシスタントプロンプト:
答：
ストップトークン:
</s>

パラメータバリエーション

ChatGLM-6B(6.2B)

HuggingFace

標準版。FP16で13GB VRAM必要。

VRAM13GB
RAM16GB

GGUFファイルは登録されていません

ChatGLM-6B INT8(6.2B)

HuggingFace

INT8量子化版。8GB VRAMで推論可能。

VRAM8GB
RAM16GB

GGUFファイルは登録されていません

ChatGLM-6B INT4(6.2B)

HuggingFace

INT4量子化版。6GB VRAMで推論可能。

VRAM6GB
RAM12GB

GGUFファイルは登録されていません

VisualGLM-6B(6B)

HuggingFace

GLMファミリー初のマルチモーダルモデル。ChatGLM-6BにBLIP2-Qformer画像エンコーダを統合。

VRAM15GB
RAM20GB

GGUFファイルは登録されていません

関連モデル

CodeGeeX

1 バリエーション

GLM-130B

3 バリエーション

ChatGLM2-6B

3 バリエーション

CodeGeeX2-6B

2 バリエーション

ChatGLM3-6B

4 バリエーション

CogVLM

3 バリエーション

CogAgent

2 バリエーション

CogVLM2

2 バリエーション

GLM-4-9B

3 バリエーション

GLM-4V-9B

2 バリエーション

CodeGeeX4-ALL-9B

1 バリエーション

GLM-4-32B-0414

2 バリエーション

GLM-Z1

3 バリエーション

GLM-4.5

3 バリエーション

GLM-4.6

2 バリエーション

GLM-4.7

2 バリエーション

家系図

現在のモデル: ChatGLM-6B