Một agent cần ba tệp không phải xin từng tệp qua mỗi lượt đi về. Với parallel tool calls, model xin cả ba cùng lúc.
Cách hoạt động
Trong phản hồi tool calling, message.tool_calls là một danh sách. Với lệnh gọi song song, danh sách có nhiều hơn một phần tử, mỗi phần tử có id, tên hàm và tham số JSON riêng.
"tool_calls": [
{"id": "call_1", "type": "function", "function": {"name": "read_file", "arguments": "{\"path\": \"a.py\"}"}},
{"id": "call_2", "type": "function", "function": {"name": "read_file", "arguments": "{\"path\": \"b.py\"}"}}
]
Code của bạn chạy các lệnh gọi và thêm một message tool cho mỗi lệnh gọi, mỗi message có tool_call_id tương ứng, rồi gọi lại model.
- OpenAI:
parallel_tool_callsmặc định làtrue. Đặt nó thànhfalsesẽ “ensures exactly zero or one tool is called.” (Bản dịch: bảo đảm chỉ có đúng không hoặc một tool được gọi.) Hướng dẫn cảnh báo rằng một snapshot model đôi khi gọi lặp lại cùng một tool, và khuyên tắt tính năng này với snapshot đó. - Anthropic: dùng song song được bật mặc định. Tắt bằng
disable_parallel_tool_use: truebên trong object tool_choice. Anthropic nói API “doesn’t prescribe an execution order” (Bản dịch: không quy định thứ tự thực thi), và mọi kết quả tool nên được gửi về trong một message user duy nhất để việc song song tiếp tục hoạt động.
Vì sao quan trọng
- Độ trễ. Ít lượt đi về với model hơn. Các tool độc lập, chỉ đọc có thể chạy cùng lúc ở phía bạn.
- Thứ tự. Các lệnh gọi có tác dụng phụ, như ghi rồi đọc, có thể phụ thuộc lẫn nhau. Anthropic gợi ý chạy chúng tuần tự. Hoặc tắt tính năng này.
- Quản lý. Mỗi lệnh gọi cần một kết quả với đúng ID. Thiếu một kết quả là nguyên nhân phổ biến khiến request tiếp theo lỗi.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet mô tả tool calling cho GLM 5.3 và Qwen3.8 27B nhưng không mô tả parallel_tool_calls. Hãy kiểm thử xem prompt của bạn có nhận về nhiều lệnh gọi không và false có được tuân theo không. Lệnh gọi song song đến trong một phản hồi, nên không làm tăng số request của bạn. Việc chạy tool là ở phía bạn. Lưu ý rằng một phiên của gói không giới hạn của BroadNet chỉ cho phép một request tại một thời điểm và chỉ dành cho DeepSeek V4.1 Flash; với key trả theo mức dùng, giới hạn concurrency là 4 request đang xử lý cùng lúc. Bài viết về tool calling với model mở có một vòng lặp chạy được.
Lỗi thường gặp
- Trả kết quả theo định dạng message khác nhau cho từng lệnh gọi, hoặc bỏ sót một kết quả.
- Chạy đồng thời các tool phụ thuộc nhau chỉ vì model liệt kê chúng cùng nhau.