Byte pair encoding là công thức đứng sau phần lớn tokenizer của LLM: học xem những mảnh văn bản nào hay đi cùng nhau, và cấp cho mỗi mảnh phổ biến một token riêng.
Cách hoạt động
Sennrich, Haddow và Birch (2015) áp dụng BPE, vốn là một phương pháp nén, vào dịch máy. Ý chính của họ là tên riêng, từ ghép và từ hiếm có thể ghép từ các đơn vị nhỏ hơn, nên model không cần một mục từ điển cho mọi từ.
Huấn luyện bộ từ vựng BPE là một vòng lặp đơn giản, được tài liệu Hugging Face trình bày từng bước:
- Đếm tần suất từ trong corpus huấn luyện, ví dụ
hug10,pug5,pun12,bun4,hugs5. - Bắt đầu từ các ký tự đơn:
b g h n p s u. - Tìm cặp liền kề xuất hiện nhiều nhất.
u+gxuất hiện 20 lần, nên thêmug. - Lặp lại.
u+n(16 lần) trở thànhun. - Dừng khi đạt kích thước từ vựng mục tiêu, bằng số ký hiệu cơ sở cộng số phép gộp.
Để mã hóa văn bản mới, tokenizer áp dụng các phép gộp đã học theo đúng thứ tự. Việc mã hóa là tất định: cùng một văn bản luôn cho cùng các token.
BPE cấp byte bắt đầu từ 256 giá trị byte thay vì ký tự. Khi đó mọi chuỗi có thể có đều mã hóa được. Bộ từ vựng của GPT-2 gồm 256 byte + 50.000 phép gộp + 1 token end-of-text = 50.257.
Vì sao quan trọng
BPE giải thích một số điều bạn thấy trên hóa đơn API:
- Từ tiếng Anh phổ biến chỉ là một token, vì các cặp của chúng được gộp từ sớm.
- Từ hiếm, lỗi gõ và hệ chữ không phải Latin bị tách thành nhiều token hơn. Trong UTF-8, một chữ cái Ả Rập chiếm 2 byte, nên tokenizer cấp byte học được ít phép gộp tiếng Ả Rập sẽ tốn nhiều token hơn cho mỗi từ.
- Số token khác nhau theo model. Mỗi model học phép gộp riêng từ dữ liệu riêng.
Phép đo của chúng tôi ngày 2026-11-14 cho thấy hiệu ứng này. Cùng một đoạn chat phương ngữ vùng Vịnh dài 117 từ tốn 276 token trên GLM 5.3 và 229 trên Qwen3.8 27B. Tức là 276 / 117 x 100 = 235,9 so với 229 / 117 x 100 = 195,7 token mỗi 100 từ. Bản dịch tiếng Anh của đoạn chat đó tốn 202 và 208 token, gần như bằng nhau.
Trên BroadNet Inference
Trên BroadNet bạn không chọn tokenizer; mỗi model dùng tokenizer riêng. Hãy so số token cho văn bản thật của bạn bằng công cụ đếm token tiếng Ả Rập trước khi chọn model cho lưu lượng tiếng Ả Rập, và đọc số token mỗi từ trong tiếng Ả Rập và tiếng Anh để xem bảng đầy đủ. Hãy nhớ rằng số token, không phải số từ, quyết định giá.