BroadRouter

System prompt

Na-update

Ang system prompt ay ang instruction na ipinapadala ng isang application sa language model bago ang usapan, kadalasan bilang mensaheng may system o developer role. Itinatakda nito ang role, mga patakaran, tono at format ng output ng model, at dapat itong sundin ng model kahit salungat ang mensahe ng user.

Tinatawag ding: system message, system instruction, developer message, system instructions, system role

Ang system prompt ang bahagi ng request na hindi kailanman tina-type ng end user. Sinasabi nito sa model kung para kanino ito nagtatrabaho at paano ito dapat kumilos.

Paano ito gumagana

Sa format ng Chat Completions, ang messages ay listahan ng mga object na may role. Kadalasang ang una ang may dalang nakatakdang instruction. Sa example sa ibaba, sinasabihan ng system message ang model na isa itong support agent ng airline, na sumagot sa dalawang pangungusap at huwag magbanggit ng pamasahe; sumunod ang tanong ng user kung puwede niyang palitan ang flight niya:

{"messages": [
  {"role": "system", "content": "You are a support agent for an airline. Answer in two sentences. Never quote fares."},
  {"role": "user", "content": "Can I change my flight?"}
]}

Inilalarawan ng API reference ng OpenAI ang system at developer message bilang “developer-provided instructions that the model should follow, regardless of messages sent by the user” (Salin ng BroadRouter: “mga instruction mula sa developer na dapat sundin ng model, anuman ang mensaheng ipadala ng user”), at sinasabing pinapalitan ng developer message ang system message sa o1 at mas bagong model. Sa text guide nito, nasa priority na “ahead of user messages” (Salin ng BroadRouter: “nauuna sa mga mensahe ng user”) ang developer message. Sa Anthropic naman, hiwalay na top-level na system parameter ang system prompt sa halip na isang mensahe, at sinasabi nitong kahit isang pangungusap na nagtatakda ng role ay “focuses Claude’s behavior and tone” (Salin ng BroadRouter: “nagpapatutok sa kilos at tono ni Claude”).

Karaniwang laman: isang role, ang task, mahihigpit na patakaran, format ng output, at kung minsan ay mga example (few-shot prompting).

Bakit ito mahalaga

  • Gastos. Ipinapadala ulit ang system prompt sa bawat call bilang input token. Ang prompt na 2,000 token sa 10,000 request ay 20 milyong token.
  • Caching. Dahil hindi ito nagbabago at nauuna, ang system prompt ang pinakamadaling i-cache na prefix. Ilagay pagkatapos nito ang data na nagbabago, gaya ng petsa o pangalan ng user. Ipinapakita ng post tungkol sa istruktura ng prompt para sa caching ang tamang pagkakasunod-sunod.
  • Seguridad. Policy layer ito, hindi security boundary. Puwede pa ring ilihis ang model ng prompt injection sa mga dokumento o sa text ng user.

Sa BroadNet Inference

Format ng OpenAI chat completions ang sinusunod ng BroadNet, kaya inilalagay ang system message sa messages gaya ng nasa itaas. Isang user message lang ang gamit ng mga example sa docs, at hindi nito inilalarawan kung paano hinahawakan ng bawat model ang system o developer role; subukan ang prompt mo sa model na ilalabas mo.

Iniuulat ng BroadNet ang prompt_tokens_details.cached_tokens sa usage at sinisingil ang mga token na iyon sa presyo ng cached input. Halimbawang kuwenta sa DeepSeek V4.1 Flash, gamit ang 20 milyong token sa itaas: 20 × $0.175 kung walang naka-cache, o 20 × $0.0055 kung tumama sa cache ang bawat read. Nasa pagitan ng dalawa ang totoong hit rate; tingnan ang cached_tokens para makita ang sa iyo. Ipinapakita ng curl quickstart ang unang request.

Mga karaniwang pagkakamali

  • Paglalagay ng timestamp sa simula ng system prompt. Nagbabago ito sa bawat call at sinisira ang cache.
  • Pagtatago ng mga sikreto sa system prompt. Madalas napapaulit ito ng mga user sa model.

Mga tanong

Ano ang pagkakaiba ng system message at developer message?

Pareho ang trabaho nila. Ayon sa OpenAI, pinapalitan ng developer message ang system message simula sa o1 models at mas bago. Inaasahan pa rin ng maraming OpenAI-compatible na server ang system role, kaya alamin kung alin ang tinatanggap ng model mo.

Puwede bang i-override ng user ang system prompt?

Tinrain ang model na unahin ito, pero hindi perpekto. Iyan mismo ang sinusubukan ng prompt injection at mga jailbreak, kaya ipatupad din sa code ang mahihigpit na patakaran.

Sinisingil ba ang system prompt?

Oo. Input token ito sa bawat request. Kung hindi ito nagbabago at nauuna ito, puwede itong singilin sa cached na rate ng provider na may prompt caching.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity