Pencarian kata kunci menemukan kata yang persis. Pencarian vektor menemukan maknanya. Hybrid search menjalankan keduanya lalu menggabungkan hasilnya.
Cara kerjanya
Query dikirim ke dua retriever sekaligus:
- Kata kunci: BM25 di atas inverted index. Kuat untuk nama, kode, dan istilah langka.
- Vektor: nearest neighbour atas embedding di dalam vector database. Kuat untuk parafrasa dan sinonim.
Kedua skor berada pada skala yang berbeda, jadi sebagian besar sistem menggabungkannya berdasarkan peringkat atau skor yang dinormalisasi.
Reciprocal rank fusion (RRF), dari Cormack, Clarke dan Büttcher (SIGIR 2009), menjumlahkan satu suku untuk setiap daftar tempat sebuah dokumen muncul. Elasticsearch mendokumentasikan loop-nya sebagai score += 1.0 / (k + rank(result(q), d)), dengan rank constant k bernilai default 60. Dokumentasinya menyebut “RRF requires no tuning.” (terjemahan: RRF tidak memerlukan tuning.)
Contoh perhitungan dengan k = 60:
| Dokumen | Peringkat BM25 | Peringkat vektor | Skor RRF |
|---|---|---|---|
| A | 1 | 3 | 1/61 + 1/63 = 0,0323 |
| B | 2 | 1 | 1/62 + 1/61 = 0,0325 |
| C | tidak ditemukan | 2 | 1/62 = 0,0161 |
B menang karena kedua retriever menempatkannya di peringkat atas.
Weighted fusion adalah metode umum lainnya. Default Weaviate sejak v1.24, relativeScoreFusion, menormalisasi skor setiap pencarian dan menggabungkannya sebagai jumlah berskala. Pengaturan alpha membobot keduanya: 0 hanya kata kunci, 1 hanya vektor, dan 0,75 adalah default server. Dokumentasinya menyarankan agar alpha diatur secara eksplisit: default 0,75 hanya berlaku jika permintaan sampai ke server tanpa alpha, dan tidak semua library klien membiarkannya kosong, sehingga pembobotan sebenarnya bisa berbeda.
Setelah fusion, banyak pipeline menambahkan reranker untuk hasil teratas.
Kenapa ini penting
- Recall. Query nyata mencampur istilah yang persis dengan kata-kata yang longgar. Satu retriever saja akan melewatkan sebagian.
- Bahasa Arab. Ejaan Arab bervariasi (bentuk alif, ta marbuta, harakat), yang mengganggu pencocokan kata kunci persis kecuali teks dinormalisasi. Menambahkan pencarian vektor memberi jalur kedua ke chunk yang tepat. Lihat pencarian RAG bahasa Arab dan normalisasi teks Arab untuk pencarian.
- Token lebih sedikit. Retrieval yang lebih baik berarti lebih sedikit chunk yang dikirim ke LLM per pertanyaan.
Di BroadNet Inference
Hybrid search berjalan di stack pencarian Anda: Elasticsearch, OpenSearch, Weaviate, atau sejenisnya. BroadNet tidak menyediakan endpoint embedding atau rerank, jadi buat embedding dengan penyedia lain atau model lokal. Kirim chunk teratas hasil penggabungan ke model chat BroadNet seperti Qwen3.8 27B atau GLM 5.3 melalui Chat Completions API. Untuk korpus kecil, bandingkan dengan memasukkan dokumen ke dalam konteks panjang; lihat konteks panjang vs RAG.