GLM-130B

ベースモデル

開発者

Zhipu AI / Tsinghua University

ライセンス

Apache 2.0 + Model License

リリース日

2022/7/1

コンテキスト長

2,048 トークン

トレーニングトークン

400B (200B English + 200B Chinese)

対応言語

zh, en

officialbilingualfoundation

GLMファミリーの起源となるモデル。100B級のオープンソースモデルとしてGPT-3を上回る性能を初めて実現。双方向Dense TransformerアーキテクチャとAutoregressive Blank Infilling目的関数を採用。ICLR 2023に採択。INT4量子化でRTX 3090×4での推論が可能。

HuggingFace 論文 GitHub

ベンチマーク

MMLU

44.8

ソース: GLM-130B Paper (ICLR 2023)

技術仕様

アーキテクチャ

Bidirectional Dense Transformer (70 layers, 12288 hidden, 96 heads)

パラメータバリエーション

GLM-130B(130B)

HuggingFace

フル精度版。96×DGX-A100で約60日間学習。

VRAM260GB

RAM500GB

GGUFファイルは登録されていません

GLM-130B INT8(130B)

HuggingFace

INT8量子化版。A100 (40G×4)で推論可能。

VRAM140GB

RAM280GB

GGUFファイルは登録されていません

GLM-130B INT4(130B)

HuggingFace

INT4量子化版。RTX 3090 (24G×4)または RTX 2080 Ti (11G×8)で推論可能。

VRAM70GB

RAM140GB

GGUFファイルは登録されていません

家系図

現在のモデル: GLM-130B

ベース

FT

派生

表示中

GLM-130B

ベンチマーク

技術仕様

アーキテクチャ

パラメータバリエーション

GLM-130B(130B)

GLM-130B INT8(130B)

GLM-130B INT4(130B)

関連モデル

CodeGeeX

ChatGLM-6B

ChatGLM2-6B

CodeGeeX2-6B

ChatGLM3-6B

CogVLM

CogAgent

CogVLM2

GLM-4-9B

GLM-4V-9B

CodeGeeX4-ALL-9B

GLM-4-32B-0414

GLM-Z1

GLM-4.5

GLM-4.6

GLM-4.7

家系図