BroadRouter
Mulai

Parallel tool calls (pemanggilan tool paralel)

Diperbarui

Parallel tool calls adalah saat model mengembalikan lebih dari satu tool call dalam satu respons, misalnya membaca tiga file sekaligus. Dalam format OpenAI, panggilan ini datang sebagai beberapa entri di tool_calls, dan parallel_tool_calls bernilai false membatasi model ke nol atau satu panggilan per giliran.

Disebut juga: pemanggilan tool paralel, function calling paralel, parallel tool calling, parallel function calling, parallel_tool_calls, multiple tool calls

Agen yang butuh tiga file tidak harus memintanya satu per satu dengan bolak-balik terpisah. Dengan parallel tool calls, model meminta ketiganya sekaligus.

Cara kerjanya

Dalam respons tool calling, message.tool_calls adalah sebuah list. Dengan panggilan paralel, list ini berisi lebih dari satu entri, masing-masing dengan id, nama fungsi, dan argumen JSON sendiri.

"tool_calls": [
  {"id": "call_1", "type": "function", "function": {"name": "read_file", "arguments": "{\"path\": \"a.py\"}"}},
  {"id": "call_2", "type": "function", "function": {"name": "read_file", "arguments": "{\"path\": \"b.py\"}"}}
]

Kode Anda menjalankan panggilan-panggilan itu dan menambahkan satu pesan tool per panggilan, masing-masing dengan tool_call_id yang cocok, lalu memanggil model lagi.

  • OpenAI: parallel_tool_calls secara default bernilai true. Mengubahnya ke false “ensures exactly zero or one tool is called.” (terjemahan: memastikan tepat nol atau satu tool yang dipanggil.) Panduannya memperingatkan bahwa satu snapshot model kadang mengulang panggilan ke tool yang sama dan menyarankan mematikan fitur ini di sana.
  • Anthropic: penggunaan paralel aktif secara default. Matikan dengan disable_parallel_tool_use: true di dalam objek tool_choice. Anthropic menyebut API-nya “doesn’t prescribe an execution order” (terjemahan: tidak menetapkan urutan eksekusi), dan bahwa semua hasil tool sebaiknya dikembalikan dalam satu pesan user agar paralelisme tetap berjalan.

Mengapa penting

  • Latensi. Lebih sedikit bolak-balik ke model. Tool yang independen dan hanya-baca bisa berjalan bersamaan di sisi Anda.
  • Urutan. Panggilan dengan efek samping, seperti tulis lalu baca, bisa saling bergantung. Anthropic menyarankan menjalankannya secara berurutan. Atau matikan fiturnya.
  • Pencatatan. Setiap panggilan butuh hasil dengan ID yang benar. Hasil yang hilang adalah penyebab umum request berikutnya gagal.

Di BroadNet Inference

Referensi API BroadNet mendokumentasikan tool calling untuk GLM 5.3 dan Qwen3.8 27B, tetapi tidak mendokumentasikan parallel_tool_calls. Uji apakah prompt Anda mendapat beberapa panggilan kembali dan apakah false dipatuhi. Panggilan paralel datang dalam satu respons, jadi tidak menambah jumlah request Anda. Menjalankan tool-nya adalah tugas di sisi Anda. Perhatikan bahwa satu sesi paket unlimited BroadNet mengizinkan satu request dalam satu waktu, dan hanya untuk DeepSeek V4.1 Flash; pada kunci bayar sesuai pemakaian, batas konkurensi adalah 4 request yang berjalan sekaligus. Artikel tool calling dengan model open-weight punya loop yang sudah berjalan.

Kesalahan umum

  • Mengembalikan hasil dengan format pesan yang berbeda untuk tiap panggilan, atau melewatkan salah satunya.
  • Menjalankan tool yang saling bergantung secara bersamaan hanya karena model mencantumkannya bersama.

Pertanyaan umum

Apakah parallel tool calls berarti request API paralel?

Tidak. Model mengembalikan beberapa panggilan dalam satu respons. Kode Anda menjalankannya, bersamaan atau satu per satu, lalu mengirim semua hasilnya kembali di request berikutnya.

Bagaimana cara mematikan parallel tool calls?

Dalam format OpenAI, set parallel_tool_calls ke false; OpenAI menyebut ini "ensures exactly zero or one tool is called" (terjemahan: memastikan tepat nol atau satu tool yang dipanggil). Di API Anthropic, set disable_parallel_tool_use ke true di dalam tool_choice.

Apakah BroadNet Inference mendukung parallel_tool_calls?

Referensi API BroadNet tidak mendokumentasikan parallel_tool_calls. Tool calling didokumentasikan untuk GLM 5.3 dan Qwen3.8 27B; uji apakah keduanya mengembalikan beberapa panggilan dan apakah flag tersebut dipatuhi.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity