Binibigyan ng RAG ang model ng bukas na libro: bago ito sumagot, hinahanap ng code mo ang mga kaugnay na pahina at inilalagay sa prompt.
Paano ito gumagana
Galing ang termino kina Lewis et al. (2020). Pinagsama nila ang isang generator model (“parametric memory”) at “a dense vector index of Wikipedia” (Salin ng BroadRouter: “isang dense vector index ng Wikipedia”), ang “non-parametric memory”, na naaabot sa pamamagitan ng isang neural retriever. Iniulat nilang mas maganda ang resulta nito sa open-domain question answering kaysa sa mga model na umaasa lang sa sarili nilang weights.
Ganito kadalasan ang isang modernong RAG pipeline na gumagamit ng LLM API:
- Index. Hatiin ang mga dokumento sa mga chunk, gawing embeddings ang bawat isa at i-store sa isang vector database, kadalasang kasama ng keyword index.
- Retrieve. I-embed ang tanong ng user at kunin ang mga chunk na pinakatugma, halimbawa 5 hanggang 20.
- Generate. Ilagay ang mga chunk na iyon sa prompt, kasama ang instruction na doon lang kumuha ng sagot at banggitin ang mga ito. Ipadala sa chat model.
Hindi kailanman naghahanap nang mag-isa ang model. Ang kalidad ng retrieval ang nagtatakda ng hangganan: kung hindi nakuha ang tamang bahagi, hindi ito magagamit ng model.
Bakit ito mahalaga
- Bagong impormasyon. Natatapos ang weights ng model sa training cutoff nito. Sa RAG, puwede itong sumagot batay sa price list o patakaran ngayong araw.
- Gastos. Mas kaunting input token ang 10 chunk kaysa sa buong corpus sa bawat tanong.
- Traceability. Puwedeng banggitin ng sagot ang mga bahaging pinagmulan nito, na sumusuporta sa grounding at nagpapadali sa pagtukoy ng hallucination.
- Mahalaga ang pagkakasunod. Mas nagagamit ng model ang simula at dulo ng mahabang prompt kaysa sa gitna. Unahin ang pinakamagagandang bahagi. Tingnan ang lost in the middle.
Sa BroadNet Inference
Ang generation step ang sakop ng BroadNet. Walang nakalistang embeddings endpoint sa docs nito, kaya kailangan ng retriever ng hiwalay na embedding model o keyword search. Tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng hanggang 1,048,576 token na context, kaya praktikal ang maluwag na retrieval (o walang retrieval para sa maliliit na corpus). Kinukumpara ng post na long context vs RAG ang dalawa sa gastos at recall, at tinatalakay ng Arabic RAG search ang normalisation at hybrid retrieval para sa Arabic.
Mga karaniwang pagkakamali
- Pagsisi sa model kahit ang retriever ang may mali. I-log kung aling mga chunk ang nakuha para sa bawat sagot.
- Mga chunk na humahati sa gitna ng table o pangungusap.
- Walang instruction na sabihing “not found” (hindi nahanap). Kung wala nito, pinupunan ng model ang kulang mula sa memorya nito.