---
title: "Concurrency trong API LLM là gì? Giới hạn request đồng thời"
description: "Concurrency là số request chạy cùng một thời điểm. Vì sao API LLM giới hạn nó, liên quan thế nào tới giới hạn tốc độ và độ trễ, cách chọn số worker và agent."
url: https://broadrouter.com/vi/glossary/concurrency/
lang: vi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/concurrency/) (cập nhật ngày 2026-11-14).

# Concurrency (request đồng thời)

Cập nhật 2026-11-14

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

Còn gọi là: request đồng thời, số request đồng thời, request song song, giới hạn đồng thời, xử lý đồng thời, concurrent requests, parallel requests, in-flight requests, concurrency limit

Giới hạn tốc độ đếm request theo thời gian. Concurrency đếm request tại một thời điểm. Request LLM có thể mất nhiều giây, nên giới hạn thứ hai thường chạm tới trước.

## Cách hoạt động

Định luật Little liên kết ba con số:

`requests in flight = request rate × average time per request`

Nghĩa là số request đang xử lý bằng tốc độ gửi request nhân với thời gian trung bình của mỗi request. Lấy một key giả định cho phép 5 request đang xử lý và 60 request mỗi phút, trong đó mỗi request mất 20 giây. Giới hạn concurrency chỉ cho tối đa 5 ÷ 20 = 0,25 request mỗi giây, tức 15 mỗi phút. Bạn không bao giờ đạt 60 mỗi phút, vì concurrency mới là giới hạn ràng buộc. Với request 2 giây, cùng giới hạn đó cho 150 mỗi phút, và lúc này giới hạn tốc độ mới là ràng buộc. [Công cụ tính giới hạn tốc độ](https://broadrouter.com/tools/llm-rate-limit-calculator/) làm phép tính này với số liệu của bạn.

Đầu ra dài, [token suy luận](https://broadrouter.com/vi/glossary/reasoning-tokens/) và prompt dài đều làm request lâu hơn, nên chúng tiêu hao concurrency nhanh hơn. Một câu trả lời dạng [stream](https://broadrouter.com/vi/glossary/streaming/) giữ suất của nó cho tới khi kết thúc.

## Vì sao quan trọng

Nhà cung cấp giới hạn concurrency vì bộ nhớ và năng lực tính toán GPU được dùng chung. Benchmark của NVIDIA cho thấy khi concurrency trên một server tăng, tổng đầu ra tăng còn [số token mỗi giây](https://broadrouter.com/vi/glossary/tokens-per-second/) của từng request giảm. Giới hạn theo key giúp một client không làm chậm tất cả mọi người.

Với ứng dụng của bạn, concurrency quyết định kích thước pool worker và số agent chạy song song được. Đặt pool bằng giới hạn, không vượt quá, nếu không các worker thừa chỉ toàn nhận lỗi 429.

## Trên BroadNet Inference

| Hình thức truy cập | Concurrency |
| --- | --- |
| Key trả theo mức dùng | 4 request đang xử lý cùng lúc, cộng 30 request mỗi phút |
| Key theo giờ | Một luồng |
| Gói không giới hạn | Mỗi session một request tại một thời điểm |

Các gói bán concurrency một cách trực tiếp. Một session không có đồng hồ đo token và chạy một request tại một thời điểm, đúng cách một agent làm việc. Các request trong cùng session xếp hàng nối tiếp nhau. Để chạy agent song song, mua mỗi agent một session: một orchestrator cộng ba sub-agent cần bốn session. Một key có thể chứa nhiều session.

Đọc [session không giới hạn hoạt động thế nào](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/) và [cách chạy coding agent song song với gói giá cố định](https://broadrouter.com/vi/blog/run-parallel-coding-agents-flat-rate/). Agent dành nhiều thời gian chạy tool, nên hãy đo mức chồng lấn thực tế trước khi mua thêm session.

## Lỗi thường gặp

-   Khởi động mỗi tác vụ một worker mà không có pool. Một lô 100 tác vụ thành 100 request cùng lúc.
-   Đặt timeout phía client ngắn hơn một câu trả lời suy luận dài. Client bỏ cuộc trong khi suất vẫn đang bận.

## Câu hỏi thường gặp

### Chuyện gì xảy ra khi tôi vượt giới hạn concurrency?

Tùy nhà cung cấp, request thừa sẽ bị từ chối, thường với mã 429, hoặc phải chờ trong hàng đợi cho tới khi có suất trống.

### Streaming có chiếm một suất concurrency không?

Có. Một response dạng stream giữ suất của nó cho tới khi chunk cuối cùng tới, nên đầu ra dài giữ suất bận lâu hơn.

### Một AI coding agent cần bao nhiêu request đồng thời?

Một agent thường cần một, vì nó chờ từng câu trả lời trước bước tiếp theo. Một orchestrator chạy ba sub-agent cùng lúc cần tối đa bốn. Cần bốn nếu orchestrator vẫn gửi request trong lúc chúng chạy, và ba nếu nó chỉ chờ.

## Xem thêm

-   [Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/) (thuật ngữ)
-   [Số token mỗi giây (tokens per second, TPS)](https://broadrouter.com/vi/glossary/tokens-per-second/) (thuật ngữ)
-   [Streaming (trả phản hồi dạng luồng)](https://broadrouter.com/vi/glossary/streaming/) (thuật ngữ)
-   [Gói LLM giá cố định (flat-rate LLM plan)](https://broadrouter.com/vi/glossary/flat-rate-llm-plan/) (thuật ngữ)
-   [Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/) (thuật ngữ)
-   [Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/) (thuật ngữ)
-   [AI agent (tác tử AI)](https://broadrouter.com/vi/glossary/agent/) (thuật ngữ)
-   [Gói LLM API không giới hạn cho agent hoạt động thế nào?](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/) (hướng dẫn)
-   [Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/) (hướng dẫn)
-   [Cách chạy coding agent song song trên API LLM giá cố định](https://broadrouter.com/vi/blog/run-parallel-coding-agents-flat-rate/) (bài viết)
-   [“Không giới hạn” trong gói API LLM thực sự có nghĩa là gì](https://broadrouter.com/vi/blog/what-unlimited-llm-api-really-means/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-concurrency&utm_content=page-cta) ·

**Nguồn**

-   [Định luật Little (Wikipedia)](https://en.wikipedia.org/wiki/Little%27s_law)
-   [NVIDIA NIM, các chỉ số benchmark LLM (concurrency và throughput)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Tài liệu tham chiếu API BroadNet Inference, giới hạn (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-concurrency&utm_content=sources#limits)
-   [Các gói BroadNet Inference (session) (tiếng Anh)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-concurrency&utm_content=sources)
