BroadRouter
Magsimula

Stop sequences

Na-update

Ang stop sequences ay mga string na ipinapadala mo kasama ng request para tumigil ang model sa pagbuo ng sagot sa sandaling maisulat nito ang isa sa mga iyon. Sa OpenAI, stop ang field at hanggang 4 na sequence ang tinatanggap; sa Anthropic, stop_sequences. Karaniwang hindi kasama sa ibinabalik na output ang tumugmang text.

Tinatawag ding: stop sequence sa LLM, stop string, stop sequence, stop parameter, stop strings, stop_sequences

Minsan alam mo na mismo kung saan dapat magtapos ang sagot. Sinasabi ng stop sequence sa server na doon na putulin ang pagbuo, sa halip na magbayad ka para sa mga token na itatapon mo lang.

Paano ito gumagana

Nagpapasa ka ng isa o higit pang string. Pagkatapos ng bawat bagong token, tinitingnan ng server kung may isa na sa mga iyon sa output. Kung mayroon, tapos na ang pagbuo.

{
  "model": "broadnet/gemma-4-26b-a4b",
  "messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
  "stop": ["END"]
}

Mga detalye ng bawat provider mula sa mga source:

Provider Field Mga tala
OpenAI Chat Completions stop “Up to 4 sequences” (hanggang 4 na sequence); sinasabi pa rin ng reference na “Not supported with latest reasoning models o3 and o4-mini” (hindi suportado sa pinakabagong reasoning model na o3 at o4-mini; wording noong 2026-11-16)
Anthropic Messages stop_sequences May stop_reason: "stop_sequence" ang response at pinapangalanan ang tumugma sa stop_sequence
vLLM (mga server ng open model) stop “String(s) that stop the generation when they are generated” (mga string na nagpapahinto sa pagbuo kapag nabuo ang mga ito); hindi kasama ang mga ito sa output

Sa format ng OpenAI, stop ang finish_reason kapag tumama ang stop sequence, kaparehong value ng natural na pagtatapos. Pinaghihiwalay ng Anthropic ang dalawa.

Bakit ito mahalaga

  • Gastos at latency. Sinisingil ang mga output token at mabagal itong mabuo. Natitipid mo ang dalawa kapag huminto sa kilalang marker.
  • Kontrol sa format. Madalas gumamit ang mga few-shot prompt ng delimiter gaya ng ### sa pagitan ng mga example. Kapag may stop sa delimiter na iyon, hindi na maisusulat ng model ang susunod na example nang kusa.
  • Mga limitasyon. Hindi kayang hubugin ng stop sequence ang nauuna sa pagputol. Para sa output na babasahin ng makina, mas malakas na tool ang structured output. Panatilihin ang max_tokens bilang mahigpit na kisame.

Sa BroadNet Inference

Hindi idinodokumento ng API reference ng BroadNet ang stop. Subukan ito bago umasa rito: magpadala ng prompt na dapat tumama sa marker mo at tingnan kung doon nagtatapos ang sagot. Bilang fallback, putulin ang text sa client mo sa unang marker; sa isang stream, puwede mo ring isara ang reader sa sandaling lumabas ang marker. Nag-iisip muna bago sumagot ang mga reasoning model sa BroadNet (DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B), kaya subukan kung puwedeng tumugma ang stop string sa loob ng reasoning. Nakalista sa migration walkthrough ang iba pang OpenAI field na dapat suriin.

Mga karaniwang pagkakamali

  • Pagpili ng stop string na puwedeng lumabas sa normal na output, gaya ng newline o karaniwang salita.
  • Pag-aakalang kasama ang stop string sa sagot at pag-parse para hanapin ito.

Mga tanong

Ilang stop sequence ang puwede kong ipadala?

Hanggang 4 na sequence sa stop ang pinapayagan ng reference ng OpenAI. May sariling limit ang ibang provider, kaya tingnan ang reference nila.

Kasama ba ang stop sequence sa sagot?

Kadalasan hindi. Ayon sa dokumentasyon ng vLLM, hindi kasama ang stop string sa ibinabalik na output. Sa Anthropic, ibinabalik sa hiwalay na stop_sequence field kung aling sequence ang tumama.

Sinusuportahan ba ng BroadNet Inference ang stop?

Hindi idinodokumento ng API reference ng BroadNet ang stop. Subukan ito sa model mo bago umasa rito, at magtabi ng pagputol sa client bilang backup.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity