---
title: "Was ist Mixture of Experts (MoE) bei LLMs? | BroadRouter"
description: "Ein MoE-LLM leitet jedes Token durch wenige Experten-Teilnetze, sodass nur ein Teil des Modells läuft. Gesamte vs. aktive Parameter, mit Gemma 4 und DeepSeek."
url: https://broadrouter.com/de/glossary/mixture-of-experts/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/mixture-of-experts/) (aktualisiert am 2026-11-14).

# Mixture of Experts (MoE)

Aktualisiert 2026-11-14

Mixture of Experts (MoE) ist eine Architektur neuronaler Netze, bei der eine Schicht viele Experten-Teilnetze enthält und ein gelernter Router jedes Token nur an wenige davon schickt. Ein MoE-Sprachmodell hat eine große Gesamtzahl an Parametern, nutzt pro Token aber nur eine kleine aktive Teilmenge.

Auch genannt: MoE, Mixture of Experts, Mixture-of-Experts-Modell, Expertenmischung, Sparse MoE, aktive Parameter, mixture of experts, sparse MoE, mixture-of-experts model, sparse expert model, active parameters

Ein dichtes Modell lässt für jedes Token jedes Gewicht laufen. Ein Mixture-of-Experts-Modell lässt nur die wenigen Experten laufen, die sein Router auswählt.

## So funktioniert es

Shazeer et al. führten 2017 die Sparsely-Gated-MoE-Schicht ein: bis zu Tausende Feed-Forward-Teilnetze, wobei „a trainable gating network“ (Übersetzung: „ein trainierbares Gating-Netz“) für jede Eingabe „a sparse combination of these experts“ (Übersetzung: „eine dünn besetzte Kombination dieser Experten“) auswählt. In einem modernen Transformer wird der Feed-Forward-Block mancher Schichten zu einer Menge von Experten. Für jedes Token bewertet der Router die Experten und schickt das Token an die besten wenigen. Manche Architekturen ergänzen einen gemeinsamen Experten, den jedes Token nutzt.

Zwei Model Cards zeigen die Zahlen:

| Modell | Parameter gesamt | Aktiv pro Token | Experten |
| --- | --- | --- | --- |
| Gemma 4 26B A4B (Google) | 25,2 Mrd. | 3,8 Mrd. | 8 aktive von 128, plus 1 gemeinsamer |
| DeepSeek V4.1 Flash (DeepSeek) | 552 Mrd. Backbone | 8 Mrd. im Prefill, 16 Mrd. im Decode | 6 geroutete von 384, plus 1 gemeinsamer |

Laut der Model Card von Google „runs almost as fast as a 4B-parameter model“ (Übersetzung: „läuft fast so schnell wie ein Modell mit 4 Mrd. Parametern“) das Modell 26B A4B.

## Warum es wichtig ist

-   **Geschwindigkeit und Preis pro Token** richten sich nach den aktiven Parametern, denn das ist der Rechenaufwand jedes Tokens. So kann ein MoE-Modell groß und trotzdem günstig zu betreiben sein.
-   **Speicher** richtet sich nach den Gesamtparametern. Jeder Experte muss im GPU-Speicher liegen, ein MoE-Modell braucht für Gewichte also so viel Platz wie ein dichtes Modell gleicher Gesamtgröße. [Quantisierung](https://broadrouter.com/de/glossary/quantization/) ist ein verbreiteter Weg, sie unterzubringen.
-   **Qualität** folgt keiner der beiden Zahlen sauber. Vergleichen Sie Modelle bei Ihrer eigenen Aufgabe, nicht anhand der Parameterzahl.

## Bei BroadNet Inference

BroadNet betreibt BroadNet Gemma 4 VL 26B unter der Modell-ID `broadnet/gemma-4-26b-a4b` und beschreibt es als auf Googles Gemma 4 basierend. Der Modellkatalog führt das produktive Build als Gemma 4 26B A4B mit AWQ-4-Bit-Gewichten und Multi-Token-Prediction. Es kostet $0.10 Input und $0.22 Output pro 1M Tokens und ist das Modell hinter dem Stundenschlüssel. Siehe [Gemma 4 VL 26B](https://broadrouter.com/de/models/gemma-4-vl-26b/).

[DeepSeek V4.1 Flash](https://broadrouter.com/de/models/deepseek-v4.1-flash/) ist BroadNets Modell mit einem Kontext von 1.048.576 Tokens und das einzige Modell in den Flatrate-Plänen. Seine MoE-Architektur ist von DeepSeek dokumentiert, nicht von BroadNet. Wie offene Modelle als Kategorie abschneiden, zeigen [Open-Weight-Modelle](https://broadrouter.com/de/glossary/open-weight-model/) und [Open-Weight- vs. geschlossene Modelle](https://broadrouter.com/de/blog/open-weight-vs-closed-models/).

## Häufige Fragen

### Was bedeutet A4B in Gemma 4 26B A4B?

Laut der Model Card von Google steht das „A“ für aktive Parameter. Das Modell hat insgesamt 25,2 Mrd. Parameter, aktiviert pro Token aber etwa 3,8 Mrd.

### Ist DeepSeek V4.1 Flash ein Mixture-of-Experts-Modell?

Ja. Die Model Card von DeepSeek bezeichnet es als multimodales MoE-Modell mit 552 Mrd. Backbone-Parametern, 1 gemeinsamen und 384 gerouteten Experten pro MoE-Schicht und 6 aktiven gerouteten Experten pro Token.

### Braucht ein MoE-Modell weniger Speicher?

Nein. Alle Experten müssen geladen sein, weil jedes Token zu jedem von ihnen geroutet werden kann. MoE spart Rechenaufwand pro Token, nicht Speicher für Gewichte.

## Siehe auch

-   [Open-Weight-Modell](https://broadrouter.com/de/glossary/open-weight-model/) (Begriff)
-   [Quantisierung (Quantization)](https://broadrouter.com/de/glossary/quantization/) (Begriff)
-   [Tokens pro Sekunde (TPS)](https://broadrouter.com/de/glossary/tokens-per-second/) (Begriff)
-   [KV-Cache](https://broadrouter.com/de/glossary/kv-cache/) (Begriff)
-   [GPU-Stunde (GPU-hour)](https://broadrouter.com/de/glossary/gpu-hour/) (Begriff)
-   [OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/) (Anleitung)
-   [Open-Weight- vs. geschlossene KI-Modelle: Kosten, Kontrolle, Risiko](https://broadrouter.com/de/blog/open-weight-vs-closed-models/) (Artikel)
-   [Bestes offenes Modell für Coding-Agenten: Tools, Kontext und Kosten](https://broadrouter.com/de/blog/best-open-model-for-coding-agents/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-mixture-of-experts&utm_content=page-cta) ·

**Quellen**

-   [Shazeer et al., Outrageously Large Neural Networks, the Sparsely-Gated Mixture-of-Experts Layer, arXiv 1701.06538](https://arxiv.org/abs/1701.06538)
-   [Google, Model Card von Gemma 4 26B A4B (instruction-tuned)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [DeepSeek, Model Card von DeepSeek-V4.1-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [API-Referenz von BroadNet Inference, Modell-IDs (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-mixture-of-experts&utm_content=sources)
-   [Modellkatalog von BroadNet (Labormessungen, September 2026) (auf Englisch)](https://www.broadnet.ai/inference/models)
