BM25는 대부분의 검색 시스템에서 키워드 쪽을 담당합니다. 빠르고, 저렴하고, 정확한 용어에 강합니다.
작동 방식
BM25는 확률적 관련성 프레임워크에서 나왔으며, Robertson과 Zaragoza가 “The Probabilistic Relevance Framework: BM25 and Beyond”(2009)에서 정리했습니다. Lucene 클래스 문서에 따르면 Robertson, Walker, Jones 등이 TREC-3에서 처음 소개했습니다.
BM25는 쿼리 단어마다 세 가지 신호를 결합합니다.
- 단어 빈도(TF): 문서에 많이 나올수록 점수가 오르지만, 증가 폭은 점점 줄어듭니다.
- 역문서 빈도(IDF): 드문 단어일수록 더 크게 칩니다. Lucene은 이를
log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5))로 구현합니다. - 길이 정규화: 짧은 문서에서의 일치가 긴 문서에서의 같은 일치보다 더 크게 칩니다.
파라미터 두 개로 조정합니다. Elasticsearch 문서의 설명은 다음과 같습니다.
| 파라미터 | 기본값 | 조절하는 것 |
|---|---|---|
k1 |
1.2 | “non-linear term frequency normalization (saturation)“(번역: 비선형 단어 빈도 정규화(포화)) |
b |
0.75 | “to what degree document length normalizes tf values”(번역: 문서 길이가 tf 값을 어느 정도 정규화하는지) |
BM25는 Elasticsearch의 기본 유사도 함수입니다.
왜 중요한가
- 정확 일치. 제품 코드, 이름, 오류 메시지는 임베딩이 가장 약하고 BM25가 강한 영역입니다.
- 비용. 모델 호출이나 GPU 없이 역색인만 있으면 됩니다.
- 하이브리드 검색. 대부분의 프로덕션 RAG 시스템은 BM25를 벡터 검색과 함께 씁니다. 하이브리드 검색을 참고하세요.
아랍어 텍스트와 BM25
BM25는 토큰을 정확히 일치시키므로 텍스트를 어떻게 분석하느냐에 달려 있습니다. 아랍어에서는 같은 단어가 다른 알리프 형태로, 발음 구별 기호가 있거나 없이, 또는 테 마르부타(ة)를 헤(ه)로 적은 채 쓰일 수 있고, 관사와 접속사가 단어에 붙습니다. 아랍어 텍스트 정규화와 어간 추출을 하지 않으면 이런 변형은 매칭되지 않습니다.
Elasticsearch의 내장 arabic 분석기는 lowercase, decimal_digit, arabic_stop, arabic_normalization, 키워드 마커, arabic_stemmer 필터를 차례로 적용합니다. 쿼리와 문서를 같은 방식으로 정규화하세요. 검색을 위한 아랍어 텍스트 정규화에서는 어떤 규칙이 도움이 되고 어떤 규칙이 해가 되는지 테스트하며, 아랍어 텍스트 정규화 도구로 내 텍스트에 직접 적용해 볼 수 있습니다.
BroadNet Inference에서는
BM25는 LLM이 아니라 검색 엔진에서 실행됩니다. BroadNet은 임베딩이나 리랭킹 엔드포인트를 제공하지 않으며, 검색한 내용을 읽는 채팅 모델을 서빙합니다. BM25나 하이브리드 검색의 상위 결과를 Chat Completions API로 Qwen3.8 27B 같은 모델에 보내세요. 아랍어 RAG 검색에서 전체 파이프라인을 보여 줍니다.