실제로 쓰이는 LLM 코드의 대부분은 한 가지 방언을 씁니다. 메시지 목록을 넣으면 메시지 하나가 나오는 방식입니다. 그 방언이 바로 Chat Completions API입니다.
작동 방식
model과 messages 배열을 담은 JSON을 /v1/chat/completions에 POST합니다. 각 메시지에는 role(system, user, assistant, tool)과 content가 있습니다. 응답에는 choices 배열이 있고, 각 choice에는 message와 생성이 끝난 이유를 알려 주는 finish_reason이 들어 있으며, 토큰 수를 담은 usage 블록도 함께 옵니다.
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
OpenAI Python SDK에서는 같은 호출이 client.chat.completions.create(...)입니다. 선택 필드로 출력을 조절합니다. max_tokens, temperature, stream, tools, response_format 등이 있습니다.
이 API는 상태를 저장하지 않습니다. OpenAI 마이그레이션 가이드에 따르면 Chat Completions에서는 “conversation state must be managed manually”(번역: 대화 상태를 직접 관리해야 한다). 즉 코드가 기록을 보관하고 턴마다 다시 보내야 합니다. OpenAI의 더 새로운 Responses API는 타입이 지정된 항목을 쓰고 상태를 서버 쪽에 보관할 수 있으며, OpenAI는 자사 플랫폼의 새 프로젝트에 이를 권장합니다. 하지만 Chat Completions도 “remains supported”(번역: 계속 지원된다)라고 밝힙니다.
왜 중요한가
- 이식성. OpenAI 호환 API라고 하면 대개 이 엔드포인트를 뜻합니다. 제공업체를 바꿀 때는 새 base URL, 키, 모델 이름만 바꾸면 되는 경우가 많습니다.
- 비용. 전체 기록을 다시 보내므로 입력 토큰이 턴마다 늘어납니다. 긴 대화는 잘라 내거나 요약하세요.
- 필드 차이. 호환 제공업체가 모든 OpenAI 필드를 받는 것은 아닙니다. 알 수 없는 필드는 무시되거나 거부될 수 있으니, 의존하는 필드는 테스트하세요.
BroadNet Inference에서는
BroadNet은 https://inference.broadnet.ai/v1의 POST /v1/chat/completions로 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B, Gemma 4 VL 26B의 채팅을 제공합니다. 스트리밍은 stream=true를 쓰고 data: [DONE]으로 끝납니다. 도구 호출과 구조화된 출력은 GLM 5.3과 Qwen3.8 27B에만 문서화되어 있습니다. BroadNet의 API 레퍼런스는 Responses 엔드포인트를 문서화하지 않으므로 Chat Completions를 사용하세요. curl 빠른 시작이나 Python SDK 가이드부터 시작하세요.
흔한 실수
- 최신 사용자 메시지만 보내고 모델이 대화를 기억하길 기대하는 것.
- 다른 제공업체의 레퍼런스를 확인하지 않고 OpenAI 전용 필드를 그대로 복사하는 것.