BroadRouter

Few-shot prompting

Na-update

Ang few-shot prompting ay isang technique kung saan may kasamang ilang halimbawang pares ng input at output ang prompt bago ang totoong input, para mahinuha ng language model ang task at format mula sa mga ito. Hindi nagbabago ang weights ng model; walang example ang zero-shot at isa ang one-shot.

Tinatawag ding: few-shot learning, multishot prompting, in-context examples, one-shot prompting, prompting gamit ang mga example

Mas mabisa ang pagpapakita kaysa sa pagsasabi. Madalas, mas mabilis maayos ng ilang example ang format at tono kaysa sa isang talata ng mga patakaran.

Paano ito gumagana

Ang GPT-3 paper nina Brown at mga kasama ang nagpasikat sa termino. Sinubukan nito ang isang model na may 175 bilyong parameter sa mga task na “specified purely via text interaction with the model” (Salin ng BroadRouter: “itinakda lang sa pamamagitan ng text na pakikipag-ugnayan sa model”), nang walang gradient update o fine-tuning, at nakita nitong malaki ang iginanda ng few-shot performance habang lumalaki ang model. Tatlong setting ang tinukoy ng paper:

Setting Mga example sa prompt
Zero-shot wala, instruction lang
One-shot isa
Few-shot ilan, limitado ng context window

Ganito ang puwedeng hitsura ng isang few-shot prompt para sa paglalagay ng label sa mga support ticket:

Ticket: "My card was charged twice." -> billing
Ticket: "The app crashes on login." -> bug
Ticket: "Can you add dark mode?" -> feature_request
Ticket: "I was billed after cancelling." ->

Itinutuloy ng model ang pattern. Tinatawag ng gabay ng Anthropic ang mga example na “one of the most reliable ways to steer” (Salin ng BroadRouter: “isa sa pinakamaaasahang paraan para gabayan”) ang format, tono at istruktura, at hinihiling nitong relevant, iba-iba at nakabalot sa mga tag ang mga ito para maihiwalay ng model sa mga instruction.

Bakit ito mahalaga

  • Kontrol sa format. Ipinapakita ng mga example ang mga edge case na nakakaligtaan ng mga patakaran, gaya ng kung paano isusulat ang walang lamang field. Para sa mahigpit na JSON, ipares ang mga ito sa structured output.
  • Gastos. Ipinapadala ulit bilang input ang bawat example sa bawat call. Ang limang example na tig-200 token ay nagdadagdag ng 1,000 token kada request. Kapag nasa fixed na prefix, puwede silang singilin bilang cached input tokens.
  • Reasoning. Ang mga example na nagpapakita ng mga hakbang, hindi lang ng sagot, ay chain-of-thought prompting.
  • Kailan titigil. Kung kailangan mo ng daan-daang example, baka mas mura kada call ang fine-tuning kaysa sa pagpapadala ng mga ito sa bawat pagkakataon.

Sa BroadNet Inference

Walang espesyal na API feature na kailangan ang few-shot prompting; plain text lang ito sa messages. Iniuulat ng BroadNet ang cached_tokens sa usage, kaya makikita mo kung binabasa mula sa cache ang example block mo. Sa PAYG key, mas mababa ang cached na presyo kaysa sa input na presyo; sa DeepSeek V4.1 Flash, $0.0055 iyon laban sa $0.175 kada 1M token. Para sa mga Arabic na task, tingnan ang Arabic prompt engineering, at para sa document extraction na may mga example, ang gabay sa Arabic na invoice.

Mga karaniwang pagkakamali

  • Paggamit ng mga example na pare-pareho ang label o haba. Kinokopya ng model ang bias.
  • Pagpapalit-palit ng mga example kada request. Sinisira nito ang cached prefix at pinahihirap ang paghahambing ng mga resulta.

Mga tanong

Ilang example ang dapat nasa isang few-shot prompt?

Iminumungkahi ng Anthropic ang 3 hanggang 5 para sa pinakamagandang resulta. Mas maraming example, mas malaki ang gastos sa input token sa bawat call, kaya tumigil sa pagdagdag kapag hindi na gumaganda ang kalidad.

Pareho ba ang few-shot prompting at fine-tuning?

Hindi. Nasa prompt ang mga few-shot example at ipinapadala ulit sa bawat request. Binabago ng fine-tuning ang weights ng model nang isang beses, kaya hindi na kailangang ipadala ang mga example.

Sa system prompt ba ilalagay ang mga example o bilang mga chat turn?

Puwede ang alinman. Panatilihin ang mga ito sa fixed na posisyon malapit sa simula para bumuo sila ng stable na prefix na puwedeng i-cache.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity