Mas mabisa ang pagpapakita kaysa sa pagsasabi. Madalas, mas mabilis maayos ng ilang example ang format at tono kaysa sa isang talata ng mga patakaran.
Paano ito gumagana
Ang GPT-3 paper nina Brown at mga kasama ang nagpasikat sa termino. Sinubukan nito ang isang model na may 175 bilyong parameter sa mga task na “specified purely via text interaction with the model” (Salin ng BroadRouter: “itinakda lang sa pamamagitan ng text na pakikipag-ugnayan sa model”), nang walang gradient update o fine-tuning, at nakita nitong malaki ang iginanda ng few-shot performance habang lumalaki ang model. Tatlong setting ang tinukoy ng paper:
| Setting | Mga example sa prompt |
|---|---|
| Zero-shot | wala, instruction lang |
| One-shot | isa |
| Few-shot | ilan, limitado ng context window |
Ganito ang puwedeng hitsura ng isang few-shot prompt para sa paglalagay ng label sa mga support ticket:
Ticket: "My card was charged twice." -> billing
Ticket: "The app crashes on login." -> bug
Ticket: "Can you add dark mode?" -> feature_request
Ticket: "I was billed after cancelling." ->
Itinutuloy ng model ang pattern. Tinatawag ng gabay ng Anthropic ang mga example na “one of the most reliable ways to steer” (Salin ng BroadRouter: “isa sa pinakamaaasahang paraan para gabayan”) ang format, tono at istruktura, at hinihiling nitong relevant, iba-iba at nakabalot sa mga tag ang mga ito para maihiwalay ng model sa mga instruction.
Bakit ito mahalaga
- Kontrol sa format. Ipinapakita ng mga example ang mga edge case na nakakaligtaan ng mga patakaran, gaya ng kung paano isusulat ang walang lamang field. Para sa mahigpit na JSON, ipares ang mga ito sa structured output.
- Gastos. Ipinapadala ulit bilang input ang bawat example sa bawat call. Ang limang example na tig-200 token ay nagdadagdag ng 1,000 token kada request. Kapag nasa fixed na prefix, puwede silang singilin bilang cached input tokens.
- Reasoning. Ang mga example na nagpapakita ng mga hakbang, hindi lang ng sagot, ay chain-of-thought prompting.
- Kailan titigil. Kung kailangan mo ng daan-daang example, baka mas mura kada call ang fine-tuning kaysa sa pagpapadala ng mga ito sa bawat pagkakataon.
Sa BroadNet Inference
Walang espesyal na API feature na kailangan ang few-shot prompting; plain text lang ito sa messages. Iniuulat ng BroadNet ang cached_tokens sa usage, kaya makikita mo kung binabasa mula sa cache ang example block mo. Sa PAYG key, mas mababa ang cached na presyo kaysa sa input na presyo; sa DeepSeek V4.1 Flash, $0.0055 iyon laban sa $0.175 kada 1M token. Para sa mga Arabic na task, tingnan ang Arabic prompt engineering, at para sa document extraction na may mga example, ang gabay sa Arabic na invoice.
Mga karaniwang pagkakamali
- Paggamit ng mga example na pare-pareho ang label o haba. Kinokopya ng model ang bias.
- Pagpapalit-palit ng mga example kada request. Sinisira nito ang cached prefix at pinahihirap ang paghahambing ng mga resulta.