Phần lớn code LLM ngoài thực tế nói cùng một “phương ngữ”: một danh sách message đi vào, một message đi ra. Phương ngữ đó là Chat Completions API.
Cách hoạt động
Bạn POST JSON tới /v1/chat/completions với một model và một mảng messages. Mỗi message có một role (system, user, assistant hoặc tool) và content. Câu trả lời chứa một mảng choices; mỗi choice mang một message và một finish_reason cho biết vì sao việc sinh kết thúc, cộng thêm một khối usage với số token.
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
Trong OpenAI Python SDK, cùng lệnh gọi đó là client.chat.completions.create(...). Các trường tùy chọn định hình đầu ra: max_tokens, temperature, stream, tools, response_format và nhiều trường khác.
API này là stateless. Hướng dẫn chuyển đổi của OpenAI nói rằng trong Chat Completions, “conversation state must be managed manually” (Bản dịch: trạng thái hội thoại phải được quản lý thủ công): code của bạn giữ lịch sử và gửi lại ở mỗi lượt. Responses API mới hơn của OpenAI dùng các item có kiểu và có thể giữ trạng thái phía server, và OpenAI khuyến nghị nó cho dự án mới trên nền tảng của họ, nhưng nói rằng Chat Completions “remains supported” (Bản dịch: vẫn được hỗ trợ).
Vì sao quan trọng
- Tính di động. Một API tương thích OpenAI thường có nghĩa là endpoint này. Đổi nhà cung cấp thường chỉ là đổi base URL, key và tên model.
- Chi phí. Vì toàn bộ lịch sử được gửi lại, token đầu vào tăng mỗi lượt. Hãy cắt bớt hoặc tóm tắt các cuộc chat dài.
- Khác biệt về trường. Không phải nhà cung cấp tương thích nào cũng nhận mọi trường của OpenAI. Trường lạ có thể bị bỏ qua hoặc bị từ chối, nên hãy thử những trường bạn phụ thuộc vào.
Trên BroadNet Inference
BroadNet phục vụ chat tại POST /v1/chat/completions trên https://inference.broadnet.ai/v1, cho DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B và Gemma 4 VL 26B. Streaming dùng stream=true và kết thúc bằng data: [DONE]. Tool calling và structured output chỉ được ghi trong tài liệu cho GLM 5.3 và Qwen3.8 27B. Tài liệu tham chiếu API của BroadNet không ghi endpoint Responses, nên hãy dùng Chat Completions. Bắt đầu với hướng dẫn nhanh bằng curl hoặc hướng dẫn Python SDK.
Lỗi thường gặp
- Chỉ gửi message mới nhất của người dùng và mong model nhớ cuộc chat.
- Sao chép các trường chỉ có ở OpenAI sang nhà cung cấp khác mà không kiểm tra tài liệu tham chiếu của họ.