Preprint Uno thứ hai của BroadNet lần đầu áp dụng kỹ thuật tự soạn nháp (self-drafting) cho một model mixture-of-experts. Được công bố trên Zenodo ngày 18 tháng 9 năm 2026 với DOI 10.5281/zenodo.22820511, bài báo phục vụ Gemma 4 26B A4B ở 4-bit và huấn luyện một adapter Uno cho nó. Model mục tiêu có cùng model nền với BroadNet Gemma 4 VL 26B trên BroadNet Inference.
Bài này nối tiếp nghiên cứu Uno khi phục vụ trong vLLM, vốn thử nghiệm một model dense 8B. Các con số dưới đây là của BroadNet; chúng tôi chưa tái lập chúng.
Câu hỏi nghiên cứu là gì?
Speculative decoding soạn nháp vài token rồi kiểm chứng chúng trong một lượt. Với model mixture-of-experts có thêm một mối lo: các dòng nháp có thể được định tuyến tới những expert khác nhau, nên soạn nháp bốn token có thể phải đọc nhiều trọng số expert hơn hẳn so với sinh một token. Bài báo hỏi liệu “expert fan-out” (sự tỏa ra nhiều expert) đó có làm tự soạn nháp quá tốn kém không, và khi nào tự soạn nháp thắng một drafter riêng.
BroadNet đã thử nghiệm như thế nào?
Theo phần tóm tắt của bài báo và mô tả phương pháp của BroadNet:
- Model: Gemma 4 26B A4B, khoảng 4B tham số hoạt động mỗi token, trọng số 4-bit.
- Phần cứng: GPU hạng 24 GB, mỗi lần một chuỗi.
- Tải công việc: 72 prompt lấy từ lưu lượng production của BroadNet; mỗi mức tăng tốc được chia cho một lần chạy giải mã thường trong cùng phiên.
- Context dài: một bộ riêng gồm năm prompt dài khoảng 10.500 token.
- Adapter: rank 16, huấn luyện trên 965 dòng qua chính checkpoint 4-bit dùng để phục vụ, trên một GPU 24 GB, không có trọng số độ chính xác đầy đủ trong vòng lặp.
Kết quả là gì?
| Cách giải mã Gemma 4 26B A4B | Mức tăng tốc so với giải mã thường |
|---|---|
| Giải mã thường | 1,000 |
| Adapter thí điểm Uno, độ rộng 4 | 1,166 |
| Drafter dự đoán đa token, độ rộng 2 | 1,474 |
| Drafter khối, độ rộng 8 | 1,553 |
| Uno ở context khoảng 10.500 token | 1,089 (drafter MTP: 1,011) |
Các kết quả khác mà BroadNet báo cáo:
- Huấn luyện có tác dụng. Tỷ lệ chấp nhận tăng từ 42,4% lên 48,9% qua 1.500 lần cập nhật, và một tập dữ liệu lớn hơn gồm 2.000 dòng, huấn luyện theo cùng công thức, chấp nhận thêm 0,49 token nháp mỗi bước kiểm chứng so với lượt chạy đối chứng tương ứng.
- Expert fan-out là có thật nhưng rẻ. Bốn dòng nháp chạm tới 22 expert khác nhau so với 8 expert của một dòng, nhưng toàn bộ chi phí liên quan đến dòng chỉ tối đa 0,53 bước trong một chu kỳ khoảng 2,4 bước. BroadNet kết luận chi phí định tuyến “worth under a fifth of a cycle” (bản dịch: chưa bằng một phần năm chu kỳ) trên loại phần cứng này.
- Không mất mát. BroadNet xây dựng một phép kiểm tra cho một profile mà đầu ra thường của nó không tự lặp lại giống nhau giữa các phiên, và báo cáo Uno “as close to plain as plain is to itself” (bản dịch: gần với giải mã thường đúng bằng mức giải mã thường gần với chính nó).
- Năm ngôn ngữ. Bài báo đưa ra cái mà họ gọi là phép đo đầu tiên về tỷ lệ chấp nhận của adapter này trên năm ngôn ngữ.
Trong thực tế điều này có nghĩa là gì?
Quy tắc của chính bài báo rất đơn giản: nếu có một drafter nhỏ tốt cho model của bạn, hãy dùng nó; tự soạn nháp có chỗ đứng ở context dài và với những model không có drafter. Điều đó khớp với những gì BroadNet nói họ đang chạy: catalogue của họ liệt kê Gemma 4 26B trong production với drafter dự đoán đa token (k=2), với “90%+ acceptance on structured prompts” (bản dịch: tỷ lệ chấp nhận trên 90% với prompt có cấu trúc).
Trong production, drafter mang lại bao nhiêu? Catalogue của BroadNet báo cáo dự đoán đa token tăng thêm 48,8% trên RTX 3090, và trang Gemma 4 VL 26B đưa ra khoảng 136 token mỗi giây trên một luồng khi bật speculative decoding. Cả hai đều là số đo của chính BroadNet trên cấu hình phục vụ mà trang model của họ mô tả, nên tốc độ bạn nhận được qua API còn phụ thuộc vào tải và độ dài prompt cùng câu trả lời.
Với người mua API, phần hữu ích là phương pháp, không phải adapter. BroadNet nói mọi model họ phục vụ đều qua phép tính này trước khi đến tay khách hàng: đo chi phí của một chu kỳ nháp, rồi chọn drafter thắng trên tải công việc thực tế. Cũng chính nguyên tắc đó đã khiến họ loại EAGLE3 khi phục vụ ở mức bão hòa.
Giới hạn là gì?
- Chỉ một luồng. Mỗi lần một chuỗi, mỗi nhánh so sánh chạy một lần. Phục vụ theo batch hoạt động khác, như nghiên cứu model dense đã cho thấy.
- Một model. Kết quả áp dụng cho Gemma 4 26B A4B ở 4-bit trên card hạng 24 GB.
- Một preprint. Phiên bản 2.3 trên Zenodo, chưa qua bình duyệt, kèm theo một kho lưu trữ bằng chứng đi cùng.
Bản phát hành v0.3.0 của vllm-uno cung cấp profile phục vụ, một container image và hồ sơ kiểm chứng, nên các con số có thể được kiểm tra. Để thử chính model đang được phục vụ, playground trên trình duyệt của BroadNet chạy Gemma 4 mà không cần tài khoản.
