Il system prompt è la parte della richiesta che l’utente finale non scrive mai. Dice al modello per chi lavora e come comportarsi.
Come funziona
Nel formato Chat Completions, messages è un elenco di oggetti con un role. Il primo di solito contiene le istruzioni fisse:
{"messages": [
{"role": "system", "content": "You are a support agent for an airline. Answer in two sentences. Never quote fares."},
{"role": "user", "content": "Can I change my flight?"}
]}
Il riferimento API di OpenAI descrive i messaggi system e developer come “developer-provided instructions that the model should follow, regardless of messages sent by the user” (traduzione: istruzioni fornite dallo sviluppatore che il modello deve seguire, indipendentemente dai messaggi inviati dall’utente), e dice che sui modelli o1 e successivi i messaggi developer sostituiscono quelli system. La sua guida al testo mette i messaggi developer “ahead of user messages” (traduzione: davanti ai messaggi dell’utente) come priorità. Anthropic riceve il system prompt come parametro system separato, di primo livello, invece che come messaggio, e osserva che anche una sola frase che assegna un ruolo “focuses Claude’s behavior and tone” (traduzione: mette a fuoco il comportamento e il tono di Claude).
Contenuto tipico: un ruolo, il compito, le regole rigide, il formato di output e a volte degli esempi (few-shot prompting).
Perché è importante
- Costo. Il system prompt viene rimandato a ogni chiamata come token di input. Un prompt da 2.000 token su 10.000 richieste fa 20 milioni di token.
- Caching. Visto che è identico e viene per primo, il system prompt è il prefisso più facile da mettere in cache. Metti dopo di lui i dati che cambiano, come date o nomi degli utenti. L’articolo sulla struttura del prompt per il caching mostra l’ordine.
- Sicurezza. È un livello di policy, non un confine di sicurezza. Una prompt injection nei documenti o nel testo dell’utente può comunque portare il modello fuori strada.
Su BroadNet Inference
BroadNet serve il formato chat completions di OpenAI, quindi un messaggio system va in messages come sopra. Gli esempi della documentazione usano un solo messaggio utente e non descrivono come ciascun modello gestisce il ruolo system o developer; prova il tuo prompt sul modello che metti in produzione.
BroadNet riporta prompt_tokens_details.cached_tokens in usage e fattura quei token al prezzo dell’input in cache. Esempio di calcolo su DeepSeek V4.1 Flash, con i 20 milioni di token di prima: 20 × $0.175 se niente è in cache, oppure 20 × $0.0055 se ogni lettura va a segno nella cache. Le percentuali di hit reali stanno in mezzo; controlla cached_tokens per vedere le tue. La guida rapida con curl mostra una prima richiesta.
Errori comuni
- Mettere un timestamp in cima al system prompt. Cambia a ogni chiamata e rompe la cache.
- Conservare segreti nel system prompt. Spesso gli utenti riescono a farlo ripetere al modello.