Llama
開発者: Meta
Metaが開発する大規模言語モデル（LLM）シリーズ。2023年2月のLLaMA 1から始まり、オープンソースLLM革命を牽引。Llama 4ではMixture of Experts（MoE）とネイティブマルチモーダルを採用し、最大10Mトークンのコンテキストを実現。派生モデルとしてCode Llama（コード特化）、Llama Guard（安全性分類）も提供。
家系図
モデル一覧 (19)
LLaMA 1
2023年2月24日公開。Metaの初代大規模言語モデル。公開データのみで学習し、LLaMA-13BがGPT-3 (175B)を多くのベンチマークで上回る効率性を実証。オープンソースLLM革命の起点となった歴史的モデル。Chinchillaスケーリング則に基づく「オーバー・トレーニング」アプローチを採用。
Llama 2
2023年7月18日公開。商用利用を解禁した第2世代モデル。コンテキスト長を4Kに倍増、2兆トークンで学習。70Bモデルには推論効率向上のためGQA（Grouped-Query Attention）を初採用。Chat版はSFT+RLHFで人間の好みに合わせて調整。学習データにMeta製品・サービスのデータは含まない。
Code Llama
2023年8月24日公開（70Bは2024年1月追加）。Llama 2をベースに500億コードトークンで追加学習したコード特化モデル。16Kトークンで学習し、推論時は最大100Kトークンをサポート。Base、Python特化、Instructの3バリエーション。Infilling（FIM：コード穴埋め）機能対応（7B/13B/70B）。HumanEval最大67.8%、MBPP最大65.6%達成。
Llama Guard 1
Purple Llamaプロジェクトの初代安全性分類器。Llama 2-7Bをベースに、有害な入出力を7つのカテゴリで分類。
Spirit-LM
Metaが開発したマルチモーダル言語モデル。テキストと音声を自由に混在して処理可能。Llama 2をベースに、音声トークンを追加学習することで、テキストから音声、音声からテキストへのシームレスな変換を実現。表現豊かな音声生成が可能。
Swallow (Llama 2)
東京工業大学と産業技術総合研究所が開発した日本語特化モデル。Llama 2をベースに日本語データで継続事前学習を行い、日本語性能を大幅に向上。
Llama 3
2024年4月18日公開。語彙サイズを128Kトークンに4倍拡大し、15兆トークン以上で学習した第3世代モデル。全サイズでGQA採用。8Bモデルで従来のLlama 2 70Bに匹敵する性能を実現。事前学習・微調整ともにMetaユーザーデータを含まないことを明言。
Llama Guard 2
Llama 3-8Bベースの安全性分類器。11の安全性カテゴリに拡張。MLCommons標準に準拠。
Swallow (Llama 3)
Llama 3をベースにした日本語特化モデル。GQA採用により効率的な推論が可能。
ELYZA Japanese
ELYZA社が開発した日本語特化モデル。Llama 3をベースに日本語データで追加学習を行い、日本語での自然な対話や文章生成に優れた性能を発揮。商用利用可能。
Llama 3.1
2024年7月23日公開。コンテキスト長を128Kトークンに16倍拡張。405Bパラメータの史上最大オープンウェイトモデルを投入し、GPT-4oやClaude 3.5 Sonnetと同等の性能を達成。8言語の多言語対応とツール統合機能を実装。16,000基以上のH100 GPUで学習（405B）。合成データ生成やモデル蒸留の親モデルとしても活用推奨。
Llama Guard 3
Llama 3.1/3.2ベースの安全性分類器。13カテゴリ+S14（Code Interpreter Abuse）対応。多言語・128Kコンテキスト対応。Vision版も提供。
Swallow (Llama 3.1)
Llama 3.1をベースにした日本語特化モデル。128Kコンテキスト対応。
DeepSeek-R1-Distill-Llama
DeepSeek社がDeepSeek-R1の推論能力をLlama 3ベースモデルに蒸留したモデル。長い思考連鎖（Chain-of-Thought）による高度な推論能力を持ち、数学・コーディング・論理的推論タスクで優れた性能を発揮。
Llama 3.2
2024年9月25日公開。エッジ/モバイル向け軽量テキストモデル（1B/3B）と初のマルチモーダルVisionモデル（11B/90B）を投入。軽量モデルはLlama 3.1 8Bからの構造化プルーニングと知識蒸留で開発。Visionモデルは60億画像-テキストペアで学習。Qualcomm・MediaTekと提携しモバイル最適化。Visionモデルは画像+テキスト入力に対応（EU制限あり）。
Llama 3.3
2024年12月6日公開。70Bパラメータで405Bモデルに匹敵する性能を実現した効率特化モデル。Llama 3.1 405Bからの蒸留技術と最新のポストトレーニング技術を70Bサイズに凝縮。Instruction-tuned版のみ提供。MATH (CoT)では77.0%とLlama 3.1 405Bの73.8%を上回る。
Swallow (Llama 3.3)
Llama 3.3 70Bをベースにした最新の日本語特化モデル。高い性能と128Kコンテキスト対応。
Llama 4
2025年4月5日公開。Mixture of Experts（MoE）アーキテクチャとEarly Fusionによるネイティブマルチモーダルを採用した第4世代。Scout（16エキスパート、10Mコンテキスト）とMaverick（128エキスパート、1Mコンテキスト）を公開。学習データには公開データに加え、Instagram/Facebookの公開投稿やMeta AIとの対話などMetaプロダクト由来情報を含む。EUでのマルチモーダル利用に制限あり。
Llama Guard 4
Llama 4 ScoutからPruningしたネイティブマルチモーダル安全性分類器。テキスト+複数画像対応。12言語対応。