Bawat token na isinusulat ng model ay pinipili mula sa isang probability distribution. Ipinapakita ng logprobs ang distribution na iyon, isang token kada pagkakataon.
Paano ito gumagana
Sa bawat hakbang, binibigyan ng model ng score ang bawat token sa vocabulary nito at ginagawang probability ang mga score. Kayang iulat ng API ang natural log ng probability ng token na pinili nito. Log ang ginagamit dahil napakaliit ng mga raw na numero; ang pagdagdag ng mga log ay katumbas ng pag-multiply ng mga probability.
Sa Chat Completions API ng OpenAI, hinihingi mo ito gamit ang dalawang request field:
- Nagbabalik ang
logprobs: trueng log probability para sa bawat output token. - Ang
top_logprobsay “an integer between 0 and 20” (isang integer mula 0 hanggang 20) para sa kung ilang malamang na alternatibo ang ililista sa bawat posisyon. Kailangan nito anglogprobs: true.
Laman ng bawat entry sa choices[0].logprobs.content ang token, ang logprob nito, ang UTF-8 bytes nito at isang top_logprobs list. I-convert gamit ang exp(logprob):
| logprob | probability |
|---|---|
| 0 | 1.00 |
| -0.105 | mga 0.90 |
| -0.693 | mga 0.50 |
| -2.303 | mga 0.10 |
Bakit ito mahalaga
Inililista ng cookbook ng OpenAI ang mga praktikal na gamit:
- Kumpiyansa sa classification. Humingi ng label na isang salita at basahin ang logprob ng token na iyon. Ipasa sa tao ang mga item na mababa ang kumpiyansa.
- Pag-check sa retrieval. Itanong kung sinasagot ng ibinigay na context ang tanong, at gamitin ang probability ng “yes” bilang score. Iniuugnay ito ng cookbook sa pagbawas ng hallucination.
- Autocomplete. Magmungkahi lang ng susunod na salita kapag kumpiyansa ang model.
- Perplexity. Kunin ang average ng logprobs ng buong sagot, gawing negative ang resulta at itaas ang e sa power na iyon. Ang mas mababang perplexity ay nangangahulugang mas nahulaan ng model ang text.
Nakikita rin ang sampling dahil sa logprobs. Kapag tinaasan ang temperature o top-p, nakakalusot ang mga token na mas mababa ang probability, at ipinapakita iyon ng logprobs. Murang dagdag ito sa isang LLM-as-judge na hakbang, dahil kasama na ito sa sagot nang walang dagdag na request.
Sa BroadNet Inference
Hindi idinodokumento ng API reference ng BroadNet ang logprobs o top_logprobs para sa anumang model. Huwag ipagpalagay na ibinabalik ito ng isang OpenAI-compatible na endpoint. Magpadala ng isang request na may logprobs: true, tingnan kung may laman ang choices[0].logprobs, at magplano ng fallback, gaya ng judge prompt, kung wala. Ipinapakita ng gabay sa Python SDK ang setup ng client para sa test.
Mga karaniwang pagkakamali
- Pagbasa sa mataas na logprob bilang patunay na tama ang fact. Ibig lang sabihin nito na inaasahan ng model ang token na iyon.
- Pagkumpara ng logprobs sa magkakaibang model. Magkakaiba ang tokenizer at calibration, kaya hindi pareho ang sukatan ng mga numero.