BroadRouter
Bắt đầu

BM25

Cập nhật

BM25 (Okapi BM25) là hàm xếp hạng cho tìm kiếm từ khóa, chấm điểm tài liệu dựa trên tần suất các từ trong truy vấn xuất hiện trong đó, độ hiếm của các từ ấy trong cả bộ tài liệu và độ dài tài liệu. Đây là hàm similarity mặc định của Lucene và Elasticsearch.

Còn gọi là: thuật toán BM25, tìm kiếm từ khóa, tìm kiếm từ vựng, Okapi BM25, lexical search

BM25 là nửa từ khóa của phần lớn hệ thống tìm kiếm: nhanh, rẻ và giỏi với thuật ngữ chính xác.

Cách hoạt động

BM25 xuất phát từ probabilistic relevance framework, được Robertson và Zaragoza tổng kết trong “The Probabilistic Relevance Framework: BM25 and Beyond” (2009). Tài liệu lớp của Lucene ghi rằng nó được Robertson, Walker, Jones và những người khác giới thiệu tại TREC-3.

Với mỗi từ trong truy vấn, BM25 kết hợp ba tín hiệu:

  • Tần suất từ (term frequency): xuất hiện nhiều hơn trong tài liệu thì điểm cao hơn, nhưng mức tăng giảm dần.
  • Tần suất tài liệu nghịch đảo (IDF): từ hiếm được tính nặng hơn. Lucene triển khai nó là log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)).
  • Chuẩn hóa độ dài: một lần khớp trong tài liệu ngắn được tính nặng hơn cùng lần khớp đó trong tài liệu dài.

Hai tham số dùng để tinh chỉnh. Theo tài liệu Elasticsearch:

Tham số Mặc định Điều khiển gì
k1 1,2 “non-linear term frequency normalization (saturation)” (Bản dịch: chuẩn hóa tần suất từ phi tuyến (bão hòa))
b 0,75 “to what degree document length normalizes tf values” (Bản dịch: độ dài tài liệu chuẩn hóa giá trị tf ở mức nào)

BM25 là hàm similarity mặc định trong Elasticsearch.

Vì sao quan trọng

  • Khớp chính xác. Mã sản phẩm, tên và thông báo lỗi là chỗ embedding yếu nhất và BM25 mạnh nhất.
  • Chi phí. Không cần gọi model hay GPU, chỉ cần một inverted index.
  • Hybrid search. Phần lớn hệ thống RAG production ghép nó với tìm kiếm vector; xem hybrid search.

Văn bản tiếng Ả Rập và BM25

BM25 khớp token chính xác, nên phụ thuộc vào cách văn bản được phân tích. Trong tiếng Ả Rập, cùng một từ có thể viết với các dạng alef khác nhau, có hoặc không có dấu phụ, hoặc viết teh marbuta (ة) thành heh (ه), và mạo từ cùng liên từ dính liền vào từ. Không có chuẩn hóa văn bản tiếng Ả Rập và stemming thì các biến thể đó không khớp nhau.

Bộ phân tích arabic có sẵn trong Elasticsearch nối các filter sau: lowercase, decimal_digit, arabic_stop, arabic_normalization, một keyword marker và arabic_stemmer. Hãy chuẩn hóa truy vấn và tài liệu theo cùng một cách. Chuẩn hóa văn bản tiếng Ả Rập cho tìm kiếm kiểm chứng quy tắc nào có ích và quy tắc nào gây hại, còn công cụ chuẩn hóa văn bản tiếng Ả Rập cho bạn thử chúng trên văn bản của mình.

Trên BroadNet Inference

BM25 chạy trong công cụ tìm kiếm của bạn, không phải trong LLM. BroadNet không cung cấp endpoint embedding hay rerank; họ phục vụ các model chat đọc những gì bạn truy xuất được. Hãy gửi kết quả BM25 hoặc hybrid đứng đầu tới một model như Qwen3.8 27B qua Chat Completions API. Tìm kiếm RAG tiếng Ả Rập trình bày một pipeline đầy đủ.

Câu hỏi thường gặp

Đã có embedding thì BM25 còn hữu ích không?

Có. BM25 mạnh với các thuật ngữ chính xác như tên, mã và chuỗi lỗi mà embedding có thể làm mờ. Nhiều hệ thống RAG chạy cả hai và gộp kết quả bằng hybrid search.

k1 và b dùng để làm gì?

k1 điều khiển tốc độ mà các lần lặp lại của một từ ngừng cộng thêm điểm (bão hòa tần suất từ). b điều khiển mức chuẩn hóa theo độ dài tài liệu. Lucene và Elasticsearch mặc định k1 1,2 và b 0,75.

BM25 có dùng được cho tiếng Ả Rập không?

Có, nếu văn bản được phân tích cho tiếng Ả Rập trước. Không chuẩn hóa và stemming thì các biến thể chính tả và tiền tố dính liền sẽ khiến từ không khớp.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity