BroadRouter
Magsimula

Temperature

Na-update

Ang temperature ay isang sampling parameter na kumokontrol kung gaano ka-random ang output ng isang language model. Hinahati ng model ang score ng bawat token sa temperature bago gawing probability: sa mababang value, nangingibabaw ang pinaka-malamang na token; sa mataas na value, pumapantay ang distribution kaya mas madalas mapili ang hindi gaanong malamang na token.

Tinatawag ding: temperature sa LLM, temperature setting, sampling temperature, LLM temperature, temperature parameter

Ang temperature ang pihitan sa pagitan ng “laging parehong sagot” at “ibang sagot bawat beses”.

Paano ito gumagana

Gumagawa ang model ng score (logit) para sa bawat token na puwede nitong isulat kasunod. Ginagawang probability ng softmax ang mga score. Pero hinahati muna ng temperature ang bawat score. Isinusulat nina Hinton ang softmax gamit ang T na ito, at sinasabi nilang “using a higher value for T produces a softer probability distribution over classes.” (Salin ng BroadRouter: “ang mas mataas na value ng T ay nagbubunga ng mas malambot na probability distribution sa mga class.”)

  • T na mas mababa sa 1: tumatalas ang distribution. Mas madalas manalo ang top token.
  • T = 1: hindi ginagalaw ang probability ng model, gaya ng pagka-train dito.
  • T na mas mataas sa 1: pumapantay ang distribution. Mas madalas mapili ang mga bihirang token.
  • T na halos 0: lumalapit sa greedy decoding, ibig sabihin laging kinukuha ang pinaka-malamang na token.

Tumatanggap ang API ng OpenAI ng value “between 0 and 2” (Salin ng BroadRouter: “mula 0 hanggang 2”), at 1 ang default. Ayon sa reference nito, ginagawang “more random” (mas random) ng 0.8 ang output, at “more focused and deterministic” (mas nakatuon at deterministic) naman ng 0.2. Inirerekomenda rin nito ang “altering this or top_p but not both” (Salin ng BroadRouter: “baguhin ito o ang top_p, pero hindi pareho”), dahil ang top-p ay pangalawang paraan para bawasan ang randomness.

Kadalasang may sariling default ang mga open model. Binabasa ng Hugging Face Transformers ang temperature mula sa generation_config.json ng model, at 1.0 ang gagamitin kung wala ito. Puwedeng alinman sa dalawa ang gamitin ng isang serving stack.

Bakit ito mahalaga

  • Pagiging paulit-ulit. Kailangan ng stable na sagot ang extraction, routing at structured output. Binabawasan ng mas mababang temperature ang pagkakaiba ng resulta sa bawat run.
  • Kalidad. Kapag masyadong mataas, napupunta ang model sa kakaibang salita o gawa-gawang detalye, na nagpapalala ng hallucination. Kapag masyadong mababa, puwedeng umikot-ikot ang mahabang text: ayon sa Hugging Face, ang greedy decoding ay “begins to repeat itself” (Salin ng BroadRouter: “nagsisimulang ulitin ang sarili”) sa mas mahahabang sequence.
  • Evaluation. Kapag nagkukumpara ka ng mga model, i-fix ang temperature. Kung hindi, sampling noise ang nasusukat mo. Makikita sa logprobs kung gaano kalaki ang puwang na mayroon ang model.

Hindi binabago ng temperature ang presyo o bilis. Pareho ang halaga ng isang token sa anumang setting.

Sa BroadNet Inference

Hindi idinodokumento ng API reference ng BroadNet ang temperature, ang pinapayagang range nito o ang default nito para sa anumang model. Hindi rin ito sine-set ng mga request example. Dahil OpenAI-compatible ang API, ipapadala ng mga SDK ang field, pero hindi sinasabi kung sinusunod ito ng bawat model. I-set ito nang tahasan at patakbuhin ang parehong prompt nang ilang beses para makita ang pagkakaiba-iba. Ipinapakita ng gabay sa OpenAI Python SDK ang setup ng client.

Mga karaniwang pagkakamali

  • Paggamit ng temperature 0 at pag-aakalang pareho na ang output habambuhay. I-save ang mga sagot na kailangan mong ma-reproduce.
  • Pagtaas ng temperature para ayusin ang maling sagot. Mas magandang prompt o mas maraming context ang nag-aayos ng accuracy; iba-ibang sagot lang ang binabago ng temperature.

Mga tanong

Anong temperature ang dapat kong gamitin?

Mababang value gaya ng 0 hanggang 0.3 para sa extraction, classification at code, kung saan gusto mo ang parehong sagot bawat beses. Mas mataas gaya ng 0.7 hanggang 1 para sa brainstorming at iba-ibang pananalita. Subukan ang dalawa sa sarili mong mga prompt.

Nagiging deterministic ba ang output kapag temperature 0?

Hindi garantisado. Itinutulak nito ang model sa top token bawat beses, pero sa pangkalahatan ay hindi nangangako ang mga provider ng parehong output sa bawat run. I-save ang anumang sagot na kailangan mong ma-reproduce.

Ano ang default na temperature ng BroadNet?

Walang sinasabing default na temperature ang docs ng BroadNet para sa anumang model. I-set ito nang tahasan sa bawat request kung nakadepende rito ang output mo.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity