BroadRouter

Chat Completions API

업데이트

Chat Completions API는 OpenAI의 HTTP 엔드포인트인 POST /v1/chat/completions로, 모델 이름과 역할이 붙은 메시지 목록을 받아 모델의 다음 메시지를 반환합니다. 이 요청과 응답 구조는 OpenAI 호환 제공업체와 SDK가 재사용하는 공통 형식이 되었습니다.

다른 이름: 챗 컴플리션 API, 채팅 완성 API, chat completions 엔드포인트, Chat Completions, chat completions endpoint, /v1/chat/completions, chat.completions.create

실제로 쓰이는 LLM 코드의 대부분은 한 가지 방언을 씁니다. 메시지 목록을 넣으면 메시지 하나가 나오는 방식입니다. 그 방언이 바로 Chat Completions API입니다.

작동 방식

model과 messages 배열을 담은 JSON을 /v1/chat/completions에 POST합니다. 각 메시지에는 role(system, user, assistant, tool)과 content가 있습니다. 응답에는 choices 배열이 있고, 각 choice에는 message와 생성이 끝난 이유를 알려 주는 finish_reason이 들어 있으며, 토큰 수를 담은 usage 블록도 함께 옵니다.

curl https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b",
       "messages":[{"role":"system","content":"Answer in one line."},
                   {"role":"user","content":"What is a token?"}]}'

OpenAI Python SDK에서는 같은 호출이 client.chat.completions.create(...)입니다. 선택 필드로 출력을 조절합니다. max_tokens, temperature, stream, tools, response_format 등이 있습니다.

이 API는 상태를 저장하지 않습니다. OpenAI 마이그레이션 가이드에 따르면 Chat Completions에서는 “conversation state must be managed manually”(번역: 대화 상태를 직접 관리해야 한다). 즉 코드가 기록을 보관하고 턴마다 다시 보내야 합니다. OpenAI의 더 새로운 Responses API는 타입이 지정된 항목을 쓰고 상태를 서버 쪽에 보관할 수 있으며, OpenAI는 자사 플랫폼의 새 프로젝트에 이를 권장합니다. 하지만 Chat Completions도 “remains supported”(번역: 계속 지원된다)라고 밝힙니다.

왜 중요한가

  • 이식성. OpenAI 호환 API라고 하면 대개 이 엔드포인트를 뜻합니다. 제공업체를 바꿀 때는 새 base URL, 키, 모델 이름만 바꾸면 되는 경우가 많습니다.
  • 비용. 전체 기록을 다시 보내므로 입력 토큰이 턴마다 늘어납니다. 긴 대화는 잘라 내거나 요약하세요.
  • 필드 차이. 호환 제공업체가 모든 OpenAI 필드를 받는 것은 아닙니다. 알 수 없는 필드는 무시되거나 거부될 수 있으니, 의존하는 필드는 테스트하세요.

BroadNet Inference에서는

BroadNet은 https://inference.broadnet.ai/v1의 POST /v1/chat/completions로 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B, Gemma 4 VL 26B의 채팅을 제공합니다. 스트리밍은 stream=true를 쓰고 data: [DONE]으로 끝납니다. 도구 호출과 구조화된 출력은 GLM 5.3과 Qwen3.8 27B에만 문서화되어 있습니다. BroadNet의 API 레퍼런스는 Responses 엔드포인트를 문서화하지 않으므로 Chat Completions를 사용하세요. curl 빠른 시작이나 Python SDK 가이드부터 시작하세요.

흔한 실수

  • 최신 사용자 메시지만 보내고 모델이 대화를 기억하길 기대하는 것.
  • 다른 제공업체의 레퍼런스를 확인하지 않고 OpenAI 전용 필드를 그대로 복사하는 것.

자주 묻는 질문

Chat Completions API는 deprecated되었나요?

아니요. OpenAI 마이그레이션 가이드에는 "Chat Completions remains supported"(번역: Chat Completions는 계속 지원된다)라고 나와 있습니다. 다만 OpenAI에서 새로 시작하는 프로젝트에는 더 새로운 Responses API를 권장합니다.

Chat Completions API는 이전 메시지를 기억하나요?

아니요. 상태를 저장하지 않습니다(stateless). OpenAI 가이드에 따르면 대화 상태는 "must be managed manually"(번역: 직접 관리해야 한다)이므로, 요청할 때마다 전체 메시지 기록을 보내야 합니다.

BroadNet Inference는 채팅에 어떤 엔드포인트를 쓰나요?

base URL https://inference.broadnet.ai/v1에서 POST /v1/chat/completions를 씁니다. BroadNet은 Responses API 엔드포인트를 문서화하지 않습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기