Một câu trả lời trông có vẻ hoàn chỉnh có thể không phải vậy. finish_reason là trường duy nhất cho biết model có tự kết thúc hay không.
Cách hoạt động
Mỗi phần tử trong choices mang một finish_reason. Tài liệu tham chiếu của OpenAI liệt kê các giá trị sau:
| Giá trị | Ý nghĩa (OpenAI) |
|---|---|
stop |
Điểm dừng tự nhiên, hoặc chạm một stop sequence đã cung cấp |
length |
“The maximum number of tokens specified in the request was reached” (Bản dịch: đã đạt số token tối đa được chỉ định trong request) |
tool_calls |
Model đã gọi một tool |
content_filter |
“Content was omitted due to a flag from our content filters” (Bản dịch: nội dung bị lược bỏ do bộ lọc nội dung gắn cờ) |
function_call |
Dạng gọi hàm cũ, đã bị deprecated |
Messages API của Anthropic dùng stop_reason với các giá trị riêng, gồm end_turn, max_tokens, stop_sequence, tool_use, pause_turn, refusal và model_context_window_exceeded. Khi một stop sequence kích hoạt, Anthropic còn trả về chuỗi nào trong stop_sequence.
choice = r.choices[0]
if choice.finish_reason == "length":
raise RuntimeError("cut off: raise max_tokens and resend")
if choice.finish_reason == "tool_calls":
run_tools(choice.message.tool_calls)
Vì sao quan trọng
- JSON bị cắt. Một câu trả lời
lengthlà không trọn vẹn. Đóng ngoặc giúp nó parse được nhưng mất dữ liệu. Bài viết về JSON không hợp lệ bàn về chuyện này. - Vòng lặp agent.
tool_callsnghĩa là “chạy tool rồi gọi lại tôi”, không phải “xong rồi”. - Cache. Chỉ cache những câu trả lời kết thúc bằng
stop. Một câu trả lời bị cắt mà nằm trong cache cả tuần sẽ trông như lỗi của model.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet không ghi các giá trị finish_reason, nên hãy ghi log những gì bạn nhận được trước khi dựa vào chúng. Tài liệu có ghi nguyên nhân chính gây ra các bất ngờ length: DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và token suy luận được tính vào max_tokens. BroadNet nói rằng với giới hạn nhỏ, “the reasoning can use the whole budget and the answer comes back empty.” (Bản dịch: phần suy luận có thể dùng hết ngân sách và câu trả lời trả về rỗng). Hãy chừa 1.000 token trở lên, hoặc đặt reasoning_effort là low. Hướng dẫn xử lý phản hồi rỗng đi qua từng bước khắc phục.
Lỗi thường gặp
- Đọc
message.contentmà không kiểm tra finish_reason trước. - Coi câu trả lời rỗng là lỗi model trong khi phần suy luận đã dùng hết ngân sách.