밀집(dense) 모델은 모든 토큰에 대해 모든 가중치를 실행합니다. 전문가 혼합 모델은 라우터가 고른 몇 개의 전문가만 실행합니다.
작동 방식
Shazeer 외는 2017년에 희소 게이트 MoE 레이어를 소개했습니다. 최대 수천 개의 피드포워드 서브네트워크를 두고, “a trainable gating network”(번역: 학습 가능한 게이팅 네트워크)가 입력마다 “a sparse combination of these experts”(번역: 이 전문가들의 희소한 조합)를 고르는 방식입니다. 현대 트랜스포머에서는 일부 레이어의 피드포워드 블록이 전문가 집합이 됩니다. 라우터는 토큰마다 전문가들에 점수를 매기고 상위 몇 개로 토큰을 보냅니다. 모든 토큰이 쓰는 공유 전문가를 추가하는 설계도 있습니다.
두 모델 카드가 수치를 보여 줍니다.
| 모델 | 전체 파라미터 | 토큰당 활성 | 전문가 |
|---|---|---|---|
| Gemma 4 26B A4B(Google) | 25.2B | 3.8B | 128개 중 8개 활성, 공유 1개 추가 |
| DeepSeek V4.1 Flash(DeepSeek) | 552B 백본 | 프리필 8B, 디코드 16B | 라우팅 384개 중 6개, 공유 1개 추가 |
Google 모델 카드에 따르면 26B A4B 모델은 “runs almost as fast as a 4B-parameter model.”(번역: 40억 파라미터 모델과 거의 같은 속도로 실행됩니다)
왜 중요한가
- 토큰당 속도와 가격은 활성 파라미터를 따릅니다. 각 토큰에 필요한 연산이 그만큼이기 때문입니다. MoE 모델이 크면서도 서빙 비용이 낮을 수 있는 이유입니다.
- 메모리는 전체 파라미터를 따릅니다. 모든 전문가가 GPU 메모리에 올라가 있어야 하므로, MoE 모델은 전체 크기가 같은 밀집 모델만큼 가중치 공간이 필요합니다. 이를 맞추는 흔한 방법이 양자화입니다.
- 품질은 두 수치 중 어느 쪽과도 깔끔하게 비례하지 않습니다. 파라미터 수가 아니라 내 작업으로 모델을 비교하세요.
BroadNet Inference에서는
BroadNet은 BroadNet Gemma 4 VL 26B를 broadnet/gemma-4-26b-a4b 모델 ID로 서빙하며, Google의 Gemma 4를 기반으로 한다고 설명합니다. 모델 카탈로그에는 프로덕션 빌드가 AWQ 4비트 가중치와 멀티 토큰 예측을 쓰는 Gemma 4 26B A4B로 나와 있습니다. 요금은 100만 토큰당 입력 $0.10, 출력 $0.22 요금이며, 시간제 키에 쓰이는 모델입니다. Gemma 4 VL 26B를 참고하세요.
DeepSeek V4.1 Flash는 BroadNet의 1,048,576토큰 컨텍스트 모델이며, 정액 플랜에서 쓸 수 있는 유일한 모델입니다. 이 모델의 MoE 설계는 BroadNet이 아니라 DeepSeek이 문서화한 것입니다. 오픈 모델을 하나의 범주로 비교하려면 오픈 웨이트 모델과 오픈 웨이트 모델과 폐쇄형 모델 비교를 참고하세요.