AIwiki

Mistral NeMo

ベースモデル
開発者
Mistral AI
ライセンス
Apache-2.0
リリース日
2024/7/18
コンテキスト長
128,000 トークン
対応言語
en, fr, de, es, it, zh
知識カットオフ
2024-Q2
ベースモデル
mistral-7b
officialtext-generationmultilingualnvidiafp8long-contextopen-source

NVIDIAとの共同開発モデル。2024年7月18日公開。12Bパラメータ。128Kコンテキスト。量子化対応学習でFP8推論でも性能劣化なし。Gemma 2 9B、LLaMA 3 8Bを上回る性能。Mistral 7Bのドロップイン置き換え。中国語処理を大幅改善。

HuggingFace公式サイト

技術仕様

アーキテクチャ

Dense Transformer, FP8 native support, 128K context

パラメータバリエーション

Mistral NeMo Base (2407)(12B)

HuggingFace

ベースモデル。12Bパラメータ。NVIDIAとの共同開発。

VRAM28GB

GGUFファイルは登録されていません

Mistral NeMo Instruct (2407)(12B)

HuggingFace

指示チューニング版。サイズカテゴリで最高水準の性能。

VRAM28GB

GGUFファイルは登録されていません

関連モデル

Mistral 7B

6 バリエーション

Mixtral 8x7B

2 バリエーション

Mixtral 8x22B

2 バリエーション

Mistral Large

2 バリエーション

Mistral Small

4 バリエーション

Mistral Medium 3

2 バリエーション

Codestral

3 バリエーション

Codestral Mamba

1 バリエーション

Mathstral

1 バリエーション

Pixtral 12B

1 バリエーション

Ministral

2 バリエーション

Pixtral Large

1 バリエーション

Mistral Saba

1 バリエーション

Magistral

2 バリエーション

Voxtral

2 バリエーション

Devstral

4 バリエーション

Mistral Large 3

6 バリエーション

家系図

現在のモデル: Mistral NeMo