BM25 là nửa từ khóa của phần lớn hệ thống tìm kiếm: nhanh, rẻ và giỏi với thuật ngữ chính xác.
Cách hoạt động
BM25 xuất phát từ probabilistic relevance framework, được Robertson và Zaragoza tổng kết trong “The Probabilistic Relevance Framework: BM25 and Beyond” (2009). Tài liệu lớp của Lucene ghi rằng nó được Robertson, Walker, Jones và những người khác giới thiệu tại TREC-3.
Với mỗi từ trong truy vấn, BM25 kết hợp ba tín hiệu:
- Tần suất từ (term frequency): xuất hiện nhiều hơn trong tài liệu thì điểm cao hơn, nhưng mức tăng giảm dần.
- Tần suất tài liệu nghịch đảo (IDF): từ hiếm được tính nặng hơn. Lucene triển khai nó là
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)). - Chuẩn hóa độ dài: một lần khớp trong tài liệu ngắn được tính nặng hơn cùng lần khớp đó trong tài liệu dài.
Hai tham số dùng để tinh chỉnh. Theo tài liệu Elasticsearch:
| Tham số | Mặc định | Điều khiển gì |
|---|---|---|
k1 |
1,2 | “non-linear term frequency normalization (saturation)” (Bản dịch: chuẩn hóa tần suất từ phi tuyến (bão hòa)) |
b |
0,75 | “to what degree document length normalizes tf values” (Bản dịch: độ dài tài liệu chuẩn hóa giá trị tf ở mức nào) |
BM25 là hàm similarity mặc định trong Elasticsearch.
Vì sao quan trọng
- Khớp chính xác. Mã sản phẩm, tên và thông báo lỗi là chỗ embedding yếu nhất và BM25 mạnh nhất.
- Chi phí. Không cần gọi model hay GPU, chỉ cần một inverted index.
- Hybrid search. Phần lớn hệ thống RAG production ghép nó với tìm kiếm vector; xem hybrid search.
Văn bản tiếng Ả Rập và BM25
BM25 khớp token chính xác, nên phụ thuộc vào cách văn bản được phân tích. Trong tiếng Ả Rập, cùng một từ có thể viết với các dạng alef khác nhau, có hoặc không có dấu phụ, hoặc viết teh marbuta (ة) thành heh (ه), và mạo từ cùng liên từ dính liền vào từ. Không có chuẩn hóa văn bản tiếng Ả Rập và stemming thì các biến thể đó không khớp nhau.
Bộ phân tích arabic có sẵn trong Elasticsearch nối các filter sau: lowercase, decimal_digit, arabic_stop, arabic_normalization, một keyword marker và arabic_stemmer. Hãy chuẩn hóa truy vấn và tài liệu theo cùng một cách. Chuẩn hóa văn bản tiếng Ả Rập cho tìm kiếm kiểm chứng quy tắc nào có ích và quy tắc nào gây hại, còn công cụ chuẩn hóa văn bản tiếng Ả Rập cho bạn thử chúng trên văn bản của mình.
Trên BroadNet Inference
BM25 chạy trong công cụ tìm kiếm của bạn, không phải trong LLM. BroadNet không cung cấp endpoint embedding hay rerank; họ phục vụ các model chat đọc những gì bạn truy xuất được. Hãy gửi kết quả BM25 hoặc hybrid đứng đầu tới một model như Qwen3.8 27B qua Chat Completions API. Tìm kiếm RAG tiếng Ả Rập trình bày một pipeline đầy đủ.