BroadRouter

Hybrid search (pencarian hibrida)

Diperbarui

Hybrid search adalah metode retrieval yang menjalankan pencarian kata kunci, seperti BM25, dan pencarian vektor atas embedding pada query yang sama, lalu menggabungkan kedua daftar peringkat menjadi satu, sering dengan reciprocal rank fusion (RRF) atau jumlah berbobot dari skor yang dinormalisasi.

Disebut juga: pencarian hibrida, hybrid search, retrieval hibrida, BM25 dan vektor, hybrid retrieval, reciprocal rank fusion, RRF

Pencarian kata kunci menemukan kata yang persis. Pencarian vektor menemukan maknanya. Hybrid search menjalankan keduanya lalu menggabungkan hasilnya.

Cara kerjanya

Query dikirim ke dua retriever sekaligus:

  • Kata kunci: BM25 di atas inverted index. Kuat untuk nama, kode, dan istilah langka.
  • Vektor: nearest neighbour atas embedding di dalam vector database. Kuat untuk parafrasa dan sinonim.

Kedua skor berada pada skala yang berbeda, jadi sebagian besar sistem menggabungkannya berdasarkan peringkat atau skor yang dinormalisasi.

Reciprocal rank fusion (RRF), dari Cormack, Clarke dan Büttcher (SIGIR 2009), menjumlahkan satu suku untuk setiap daftar tempat sebuah dokumen muncul. Elasticsearch mendokumentasikan loop-nya sebagai score += 1.0 / (k + rank(result(q), d)), dengan rank constant k bernilai default 60. Dokumentasinya menyebut “RRF requires no tuning.” (terjemahan: RRF tidak memerlukan tuning.)

Contoh perhitungan dengan k = 60:

Dokumen Peringkat BM25 Peringkat vektor Skor RRF
A 1 3 1/61 + 1/63 = 0,0323
B 2 1 1/62 + 1/61 = 0,0325
C tidak ditemukan 2 1/62 = 0,0161

B menang karena kedua retriever menempatkannya di peringkat atas.

Weighted fusion adalah metode umum lainnya. Default Weaviate sejak v1.24, relativeScoreFusion, menormalisasi skor setiap pencarian dan menggabungkannya sebagai jumlah berskala. Pengaturan alpha membobot keduanya: 0 hanya kata kunci, 1 hanya vektor, dan 0,75 adalah default server. Dokumentasinya menyarankan agar alpha diatur secara eksplisit: default 0,75 hanya berlaku jika permintaan sampai ke server tanpa alpha, dan tidak semua library klien membiarkannya kosong, sehingga pembobotan sebenarnya bisa berbeda.

Setelah fusion, banyak pipeline menambahkan reranker untuk hasil teratas.

Kenapa ini penting

  • Recall. Query nyata mencampur istilah yang persis dengan kata-kata yang longgar. Satu retriever saja akan melewatkan sebagian.
  • Bahasa Arab. Ejaan Arab bervariasi (bentuk alif, ta marbuta, harakat), yang mengganggu pencocokan kata kunci persis kecuali teks dinormalisasi. Menambahkan pencarian vektor memberi jalur kedua ke chunk yang tepat. Lihat pencarian RAG bahasa Arab dan normalisasi teks Arab untuk pencarian.
  • Token lebih sedikit. Retrieval yang lebih baik berarti lebih sedikit chunk yang dikirim ke LLM per pertanyaan.

Di BroadNet Inference

Hybrid search berjalan di stack pencarian Anda: Elasticsearch, OpenSearch, Weaviate, atau sejenisnya. BroadNet tidak menyediakan endpoint embedding atau rerank, jadi buat embedding dengan penyedia lain atau model lokal. Kirim chunk teratas hasil penggabungan ke model chat BroadNet seperti Qwen3.8 27B atau GLM 5.3 melalui Chat Completions API. Untuk korpus kecil, bandingkan dengan memasukkan dokumen ke dalam konteks panjang; lihat konteks panjang vs RAG.

Pertanyaan umum

Kenapa tidak pakai pencarian vektor saja?

Embedding mencocokkan makna, tetapi bisa melewatkan string yang persis seperti kode produk, nama, dan pesan error. Pencarian kata kunci menangkap hal-hal itu. Menggabungkan keduanya mencakup kedua jenis query.

Apakah RRF perlu di-tuning?

Biasanya tidak banyak. Dokumentasi Elasticsearch menyebut RRF tidak memerlukan tuning dan set hasil yang digabungkannya tidak perlu memiliki skor relevansi yang sebanding. Rank constant-nya bernilai default 60.

Apa arti alpha di Weaviate?

Alpha membobot hasil vektor terhadap hasil kata kunci. Menurut dokumentasi Weaviate, alpha 0 berarti hanya pencarian kata kunci, alpha 1 hanya pencarian vektor, dan default server adalah 0,75.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity