Halusinasi kelihatan sama seperti jawapan yang betul. Itulah yang menjadikannya mahal.
Cara ia berfungsi
Model bahasa menulis token seterusnya yang paling munasabah berdasarkan latihannya dan prompt. Tiada apa-apa dalam gelung itu yang menyemak fakta dengan dunia sebenar. Apabila model tidak tahu jawapannya, jawapan yang kelihatan munasabah masih tersedia.
Dalam kertas kajian 2025, Kalai dan rakan-rakan berhujah bahawa halusinasi berterusan kerana “training and evaluation procedures reward guessing over acknowledging uncertainty.” (Terjemahan BroadRouter: “prosedur latihan dan penilaian memberi ganjaran kepada tekaan berbanding mengakui ketidakpastian.”) Kebanyakan penanda aras memberi markah untuk tekaan yang betul dan tiada apa-apa untuk tidak menjawab, jadi model ditala untuk menjadi calon peperiksaan yang baik. Mereka juga mengesan ralat itu kepada punca statistik: jika model tidak dapat membezakan kenyataan benar daripada yang palsu dengan boleh dipercayai, prapelatihan akan menghasilkan kenyataan palsu.
Bentuk biasa dalam kerja API:
- petikan rujukan, URL atau petikan kata yang direka
- angka yang salah dalam ringkasan dokumen yang betul
- kaedah atau parameter API yang tidak wujud
- jawapan kepada soalan yang tidak diliputi oleh konteks yang diberikan
Mengapa ia penting
Kosnya muncul kemudian: bot sokongan yang mereka dasar bayaran balik, laporan dengan jumlah yang salah, kod yang memanggil fungsi yang tiada. Pembaikannya murah berbanding semua itu:
- Berikan asas kepada jawapan. Letakkan teks sumber dalam prompt atau dapatkannya dengan RAG. Lewis dan rakan-rakan mendapati retrieval-augmented generation lebih “factual” (berfakta) berbanding garis dasar yang hanya bergantung pada parameter. Lihat grounding.
- Benarkan “saya tidak tahu”. Anthropic menyenaraikan kebenaran yang jelas untuk mengakui ketidakpastian sebagai langkah asas.
- Minta petikan, kemudian sahkan. Minta model memetik petikan sokongan bagi setiap dakwaan dan buang dakwaan yang tiada petikan.
- Ukur. Bina eval dengan soalan yang tiada jawapan dalam konteks, dan jejaki berapa kerap model mereka jawapan. Logprobs boleh menandakan jawapan berkeyakinan rendah jika API memulangkannya.
- Semak dalam kod. Jumlah, tarikh dan ID boleh disahkan tanpa model.
Menurunkan temperature membantu mengatasi hanyutan dalam teks panjang, bukan kesilapan yang yakin.
Di BroadNet Inference
Dokumentasi BroadNet tidak menerbitkan kadar halusinasi bagi model-modelnya dan tidak menyenaraikan ciri guardrails atau semakan fakta, jadi kawalan ini terletak dalam aplikasi anda. Konteks yang besar membantu grounding: DeepSeek V4.1 Flash dan GLM 5.3 menerima 1,048,576 token bagi setiap permintaan, cukup untuk memasukkan dokumen sumber sepenuhnya. Untuk saluran retrieval bahasa Arab, lihat RAG bahasa Arab; untuk menyemak medan yang diekstrak berbanding imej, lihat panduan invois.