Codestral Mamba

ベースモデル
開発者
Mistral AI
ライセンス
Apache-2.0
リリース日
2024/7/16
コンテキスト長
256,000 トークン
対応言語
en, code
知識カットオフ
2024-Q2
officialcode-generationmambassmlong-contextopen-source

Mamba 2アーキテクチャベースのコードモデル。2024年7月16日公開。State Space Models(SSM)により線形時間推論を実現。理論上無限長シーケンス対応。7Bパラメータながら22B Codestralに匹敵する性能。256Kコンテキスト。入力長に関係なく高速推論。

技術仕様

アーキテクチャ

Mamba 2, State Space Models (SSM), Linear-time inference

パラメータバリエーション

Codestral Mamba 7B(7B)

HuggingFace

7Bパラメータで22B相当の性能。10B未満で最高のコード性能。

VRAM17GB

GGUFファイルは登録されていません

家系図

現在のモデル: Codestral Mamba