시스템 프롬프트는 최종 사용자가 직접 입력하지 않는 요청의 일부입니다. 모델에게 누구를 위해 일하는지, 어떻게 행동해야 하는지 알려 줍니다.
작동 방식
Chat Completions 형식에서 messages는 role이 있는 객체의 목록입니다. 보통 첫 번째 메시지에 고정 지시문이 들어갑니다.
{"messages": [
{"role": "system", "content": "You are a support agent for an airline. Answer in two sentences. Never quote fares."},
{"role": "user", "content": "Can I change my flight?"}
]}
이 예시의 시스템 프롬프트는 모델을 항공사 상담원으로 설정하고, 두 문장으로 답하며 요금은 절대 안내하지 말라고 지시합니다.
OpenAI API 레퍼런스는 system 메시지와 developer 메시지를 모두 “developer-provided instructions that the model should follow, regardless of messages sent by the user”(번역: 사용자가 보낸 메시지와 관계없이 모델이 따라야 하는, 개발자가 제공한 지시)라고 설명하며, o1 이후 모델에서는 developer 메시지가 system 메시지를 대체한다고 밝힙니다. 텍스트 가이드는 developer 메시지의 우선순위를 “ahead of user messages”(번역: 사용자 메시지보다 앞)에 둡니다. Anthropic은 시스템 프롬프트를 메시지가 아니라 별도의 최상위 system 파라미터로 받으며, 역할을 정하는 문장 하나만으로도 “focuses Claude’s behavior and tone”(번역: Claude의 행동과 어조에 초점을 맞춘다)이라고 설명합니다.
일반적으로 역할, 작업, 반드시 지킬 규칙, 출력 형식, 때로는 예시(퓨샷 프롬프팅)가 들어갑니다.
왜 중요한가
- 비용. 시스템 프롬프트는 호출할 때마다 입력 토큰으로 다시 전송됩니다. 2,000토큰짜리 프롬프트를 10,000번 요청하면 2,000만 토큰입니다.
- 캐싱. 내용이 같고 맨 앞에 오므로, 시스템 프롬프트는 가장 캐싱하기 쉬운 접두부(prefix)입니다. 날짜나 사용자 이름처럼 바뀌는 데이터는 그 뒤에 두세요. 캐싱을 위한 프롬프트 구조 글에서 순서를 보여 줍니다.
- 안전. 시스템 프롬프트는 정책 계층이지 보안 경계가 아닙니다. 문서나 사용자 텍스트에 들어 있는 프롬프트 인젝션은 여전히 모델을 엇나가게 할 수 있습니다.
BroadNet Inference에서는
BroadNet은 OpenAI chat completions 형식을 제공하므로 system 메시지는 위와 같이 messages에 넣습니다. 문서의 예시는 사용자 메시지 하나만 쓰며, 모델별로 system 역할이나 developer 역할을 어떻게 처리하는지는 설명하지 않습니다. 실제로 배포할 모델에서 프롬프트를 테스트하세요.
BroadNet은 usage의 prompt_tokens_details.cached_tokens에 캐시된 토큰 수를 보고하고, 이 토큰은 캐시된 입력 가격으로 과금합니다. 위의 2,000만 토큰을 DeepSeek V4.1 Flash에 적용해 계산하면, 캐시가 전혀 없을 때는 20 × $0.175 금액, 모든 읽기가 캐시에 적중하면 20 × $0.0055 금액입니다. 실제 적중률은 그 사이에 있으며, cached_tokens로 확인할 수 있습니다. 첫 요청은 curl 빠른 시작을 참고하세요.
흔한 실수
- 시스템 프롬프트 맨 위에 타임스탬프를 넣는 것. 호출할 때마다 바뀌어 캐시가 깨집니다.
- 시스템 프롬프트에 비밀 정보를 넣는 것. 사용자가 모델에게 그 내용을 따라 말하게 만들 수 있는 경우가 많습니다.