Kamukhang-kamukha ng tamang sagot ang hallucination. Iyan mismo ang dahilan kung bakit ito magastos.
Paano ito gumagana
Isinusulat ng language model ang pinaka-kapani-paniwalang susunod na mga token batay sa training nito at sa prompt. Walang bahagi ng prosesong iyon ang nagche-check ng fact laban sa totoong mundo. Kapag hindi alam ng model ang sagot, may makukuha pa rin itong sagot na mukhang kapani-paniwala.
Sa isang paper noong 2025, ipinapaliwanag nina Kalai na nananatili ang hallucination dahil “training and evaluation procedures reward guessing over acknowledging uncertainty.” (Salin ng BroadRouter: “ginagantimpalaan ng training at evaluation ang panghuhula kaysa sa pag-amin ng kawalang-katiyakan.”) Karamihan sa mga benchmark ay nagbibigay ng puntos sa tamang hula at wala sa hindi pagsagot, kaya tinu-tune ang mga model para maging magaling na test-taker. Tinutunton din nila ang mga error sa isang statistical na pinagmulan: kung hindi maaasahang matukoy ng model kung tama o mali ang isang pahayag, makakabuo ang pretraining ng maling pahayag.
Mga karaniwang anyo nito sa trabaho sa API:
- inimbentong citation, URL o quote
- maling numero sa buod ng isang tamang dokumento
- mga API method o parameter na hindi umiiral
- mga sagot sa tanong na hindi sakop ng ibinigay na context
Bakit ito mahalaga
Sa mga susunod na hakbang lumalabas ang gastos: support bot na nag-imbento ng refund policy, report na mali ang total, code na tumatawag ng function na wala naman. Mura ang mga ayos kumpara roon:
- I-ground ang sagot. Ilagay ang source text sa prompt o kunin ito gamit ang RAG. Nakita nina Lewis na mas “factual” ang retrieval-augmented generation kaysa sa baseline na umaasa lang sa parameters ng model. Tingnan ang grounding.
- Payagan ang “hindi ko alam”. Isa sa mga pangunahing hakbang sa listahan ng Anthropic ang tahasang pagpayag sa model na umamin na hindi ito sigurado.
- Humingi ng quote, saka i-verify. Ipabanggit sa model ang sumusuportang quote para sa bawat claim at tanggalin ang mga claim na wala nito.
- Sukatin. Gumawa ng eval na may mga tanong na walang sagot sa context, at bantayan kung gaano kadalas mag-imbento ang model. Puwedeng i-flag ng logprobs ang mga sagot na mababa ang kumpiyansa, kung ibinabalik ito ng API.
- I-check sa code. Puwedeng i-verify ang mga total, petsa at ID nang walang model.
Nakakatulong ang pagbaba ng temperature sa pag-anod sa mahabang text, pero hindi sa kumpiyansang pagkakamali.
Sa BroadNet Inference
Hindi naglalathala ang docs ng BroadNet ng hallucination rate para sa mga model nito at walang nakalistang guardrails o fact-checking na feature, kaya nasa application mo ang mga kontrol na ito. Nakakatulong sa grounding ang malaking context: tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng 1,048,576 token kada request, sapat para isama ang buong source documents. Para sa mga Arabic retrieval pipeline, tingnan ang Arabic RAG; para sa pag-check ng mga na-extract na field laban sa larawan, tingnan ang gabay sa invoice.