---
title: "混合エキスパート（MoE）とは？LLM の仕組みを解説 | BroadRouter"
description: "MoE の LLM は、各トークンを少数のエキスパートだけに通すため、モデルの一部しか動きません。総パラメータとアクティブパラメータの違いを Gemma 4 と DeepSeek の例で解説します。"
url: https://broadrouter.com/ja/glossary/mixture-of-experts/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/glossary/mixture-of-experts/)（2026-11-14 更新）。

# 混合エキスパート（MoE）

更新日 2026-11-14

混合エキスパート（MoE）とは、層の中に多数のエキスパート（サブネットワーク）を持ち、学習済みのルーターが各トークンを少数のエキスパートだけに送る設計です。MoE の言語モデルは総パラメータ数が大きくても、トークンごとに使うのは一部だけです。

別名： MoE、専門家混合、Mixture of Experts、スパース MoE、アクティブパラメータ、mixture of experts、sparse MoE、mixture-of-experts model、sparse expert model、active parameters

密（dense）なモデルは、すべてのトークンですべての重みを動かします。混合エキスパートモデルは、ルーターが選んだ少数のエキスパートだけを動かします。

## 仕組み

Shazeer らは 2017 年に、スパースなゲート付き MoE 層を提案しました。最大で数千のフィードフォワード型サブネットワークを持ち、“a trainable gating network”（訳：学習可能なゲーティングネットワーク）が入力ごとに “a sparse combination of these experts”（訳：これらのエキスパートのスパースな組み合わせ）を選ぶものです。現在の Transformer では、一部の層のフィードフォワードブロックがエキスパートの集合になります。ルーターはトークンごとに各エキスパートを採点し、上位の少数にトークンを送ります。すべてのトークンが使う共有エキスパートを加える設計もあります。

2 つのモデルカードの数字を示します。

| モデル | 総パラメータ | トークンあたりのアクティブ | エキスパート |
| --- | --- | --- | --- |
| Gemma 4 26B A4B（Google） | 25.2B | 3.8B | 128 個中 8 個がアクティブ、共有 1 個 |
| DeepSeek V4.1 Flash（DeepSeek） | バックボーン 552B | プレフィルで 8B、デコードで 16B | ルーティング対象 384 個中 6 個、共有 1 個 |

Google のモデルカードによると、26B A4B モデルは “runs almost as fast as a 4B-parameter model”（訳：4B パラメータのモデルとほぼ同じ速さで動く）とされています。

## なぜ重要か

-   **速度とトークンあたりの料金**は、アクティブパラメータに比例します。それが各トークンに必要な計算量だからです。こうして MoE モデルは、大きくても安く提供できます。
-   **メモリ**は総パラメータに比例します。すべてのエキスパートを GPU メモリに置く必要があるため、MoE モデルの重みには、総サイズが同じ密なモデルと同じだけの容量が必要です。[量子化](https://broadrouter.com/ja/glossary/quantization/)は、それを収めるための一般的な方法です。
-   **品質**は、どちらの数字ともきれいには対応しません。パラメータ数ではなく、自分のタスクでモデルを比較してください。

## BroadNet Inference の場合

BroadNet は BroadNet Gemma 4 VL 26B をモデル ID `broadnet/gemma-4-26b-a4b` で提供しており、Google の Gemma 4 をベースにしていると説明しています。同社のモデルカタログでは、本番のビルドを、AWQ 4 ビットの重みとマルチトークン予測を使った Gemma 4 26B A4B としています。料金は 100 万トークンあたり入力 $0.10、出力 $0.22 で、時間制キーで使われるモデルでもあります。[Gemma 4 VL 26B](https://broadrouter.com/ja/models/gemma-4-vl-26b/) を参照してください。

[DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/) は、BroadNet の 1,048,576 トークンのコンテキストを持つモデルで、定額プランで使える唯一のモデルです。その MoE の設計は、BroadNet ではなく DeepSeek が文書化しています。オープンモデルをカテゴリとして比べるには、[オープンウェイトモデル](https://broadrouter.com/ja/glossary/open-weight-model/)と[オープンウェイトとクローズドモデルの比較](https://broadrouter.com/ja/blog/open-weight-vs-closed-models/)を参照してください。

## よくある質問

### Gemma 4 26B A4B の「A4B」とはどういう意味ですか？

Google のモデルカードによると、「A」はアクティブパラメータを表します。このモデルの総パラメータ数は 25.2B ですが、トークンごとに有効になるのは約 3.8B です。

### DeepSeek V4.1 Flash は混合エキスパートモデルですか？

はい。DeepSeek のモデルカードでは、マルチモーダルの MoE モデルとされています。バックボーンのパラメータは 552B で、MoE 層ごとに共有エキスパート 1 個とルーティング対象のエキスパート 384 個を持ち、トークンごとにルーティング対象のエキスパート 6 個が有効になります。

### MoE モデルは必要なメモリが少ないですか？

いいえ。どのトークンがどのエキスパートに送られるかわからないため、すべてのエキスパートを読み込んでおく必要があります。MoE が節約するのはトークンあたりの計算量で、重みのためのメモリではありません。

## 関連項目

-   [オープンウェイトモデル（open-weight model）](https://broadrouter.com/ja/glossary/open-weight-model/)（用語）
-   [量子化（quantization）](https://broadrouter.com/ja/glossary/quantization/)（用語）
-   [トークン毎秒（TPS、tokens per second）](https://broadrouter.com/ja/glossary/tokens-per-second/)（用語）
-   [KV キャッシュ（KV cache）](https://broadrouter.com/ja/glossary/kv-cache/)（用語）
-   [GPU 時間（GPU-hour）](https://broadrouter.com/ja/glossary/gpu-hour/)（用語）
-   [OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/)（ガイド）
-   [ビジネスで使うならオープンウェイトかクローズドか：コスト、管理、リスク](https://broadrouter.com/ja/blog/open-weight-vs-closed-models/)（記事）
-   [コーディングエージェントに最適なオープンモデル：ツール、コンテキスト、コストで選ぶ](https://broadrouter.com/ja/blog/best-open-model-for-coding-agents/)（記事）

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-mixture-of-experts&utm_content=page-cta) ·

**出典**

-   [Shazeer ほか、Outrageously Large Neural Networks, the Sparsely-Gated Mixture-of-Experts Layer、arXiv 1701.06538](https://arxiv.org/abs/1701.06538)
-   [Google、Gemma 4 26B A4B 指示チューニング版のモデルカード](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [DeepSeek、DeepSeek-V4.1-Flash のモデルカード](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [BroadNet Inference API リファレンス、モデル ID（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-mixture-of-experts&utm_content=sources)
-   [BroadNet のモデルカタログ（ラボでの測定、2026 年 9 月）（英語）](https://www.broadnet.ai/inference/models)
