BroadRouter

Tự host LLM hay dùng API: chi phí thực và điểm hòa vốn

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày · Cập nhật

GPU thuê tốn cùng một giá mỗi giờ dù bận hay rảnh, nên tự host chỉ rẻ hơn API khi mức sử dụng cao và đều. Hãy chia giá theo giờ cho số token server thực sự tạo ra mỗi giờ, cộng thời gian kỹ thuật và trực on-call, rồi so với giá API mỗi 1M token. Với traffic thất thường hoặc vừa phải, API gần như luôn thắng.

“Tự chạy thì sẽ tiết kiệm được tiền” là một trong những nhận định phổ biến nhất khi lập kế hoạch chi phí LLM, và cũng là một trong những nhận định ít được kiểm chứng nhất. Phép tính không khó. Nó có một biến số mà người ta hay đoán sai (mức sử dụng) và một khoản chi phí người ta hay bỏ quên (con người). Bài này đưa ra công thức, giá thuê thực tế và cách tự tính bằng số liệu của bạn.

Hiện nay thuê GPU tốn bao nhiêu?

Giá theo giờ từ các trang giá chính thức, truy cập ngày 2026-11-14 (RunPod) và 2026-11-16 (Lambda). Một tháng ở đây là 730 giờ.

GPU Nhà cung cấp và hạng (kiểm tra ngày 2026-11-14) Mỗi GPU-giờ Mỗi tháng, chạy liên tục
H100 SXM RunPod Secure Cloud USD 4.39 khoảng USD 3.205
H100 SXM RunPod Community Cloud USD 2.69 khoảng USD 1.964
H100 PCIe RunPod Secure Cloud USD 2.89 khoảng USD 2.110
H200 RunPod Secure Cloud USD 5.29 khoảng USD 3.862
A100 80GB SXM RunPod Secure Cloud USD 2.19 khoảng USD 1.599
L40S RunPod Secure Cloud USD 1.09 khoảng USD 796
H100 SXM Lambda on-demand, 1 đến 8 GPU (có hiệu lực từ 2026-11-16; kiểm tra ngày 2026-11-16) USD 4.59 đến 4.89 khoảng USD 3.351 đến 3.570

Trang của Lambda (kiểm tra ngày 2026-11-16) cho biết các mức giá này có hiệu lực từ 00:00 UTC ngày 2026-11-16; giá mỗi GPU giảm khi node lớn hơn, xuống USD 4.59 trên node 8 GPU. Giá Community Cloud của RunPod là giá “từ”, thay đổi theo host. Secure Cloud và Community Cloud là hai hạng hosting khác nhau, nên hãy đọc điều khoản của từng hạng nếu bạn có quy định về xử lý dữ liệu. Nhiều model cần hơn một GPU: một node 8 GPU H100 theo giá Secure Cloud tốn khoảng USD 25.638 mỗi tháng.

Tính chi phí tự host mỗi triệu token thế nào?

Một GPU tạo ra token với một tốc độ tổng hợp nào đó trên tất cả request mà nó đang gom batch. Chi phí mỗi token của bạn là giá theo giờ chia đều cho số token nó thực sự tạo ra:

chi phí mỗi 1M token = giá theo giờ ÷ (tổng token mỗi giây × 3.600 ÷ 1.000.000) ÷ mức sử dụng

Mức sử dụng là tỷ lệ số giờ GPU làm việc hữu ích ở tốc độ đó. Một ví dụ với số liệu giả định (không phải benchmark: hãy đo model của chính bạn):

  • GPU: một H100 SXM trên Community Cloud, USD 2.69 mỗi giờ.
  • Tổng đầu ra giả định: 1.500 token mỗi giây khi batching tốt.
  • Token mỗi giờ khi chạy hết công suất: 1.500 × 3.600 = 5,4 triệu.
Mức sử dụng Token hiệu dụng mỗi giờ Chi phí mỗi 1M token đầu ra
100% (luôn bão hòa) 5,4M USD 0.50
50% 2,7M USD 1.00
25% (chỉ bận trong giờ hành chính) 1,35M USD 1.99
10% (traffic sản phẩm thất thường) 0,54M USD 4.98

Giờ hãy so với giá API mỗi 1M token đầu ra. Bảng giá API LLM cho thấy hàng chục host tính bao nhiêu cho cùng một bộ trọng số mở; trên BroadNet Inference, DeepSeek V4.1 Flash có giá $0.52 mỗi 1M token đầu ra và Gemma 4 VL 26B có giá $0.22. Hãy tìm dòng mà chi phí tự host của bạn xuống dưới giá API: đó là mức sử dụng hòa vốn. Ví dụ này bỏ qua token đầu vào, vốn cũng chiếm thời gian GPU (prefill), nên chi phí tự host thực tế cao hơn những gì bảng thể hiện.

Cần bao nhiêu token mỗi tháng để hòa vốn?

Hãy đảo ngược lại. Một GPU để chạy liên tục tốn đúng giá tháng của nó bất kể dùng bao nhiêu. API tốn số token × giá. Khối lượng hòa vốn là:

số token mỗi tháng để hòa vốn = chi phí GPU mỗi tháng ÷ giá API mỗi 1M token × 1.000.000

Với một H100 Community Cloud (khoảng USD 1.964 mỗi tháng) so với giá đầu ra $0.52 mỗi 1M token, hãy chia 1.964 cho mức giá đó để ra số triệu token đầu ra mỗi tháng bạn phải thay thế trước khi GPU tự hoàn vốn. Hãy làm tương tự với giá pha trộn đầu vào và đầu ra nếu workload của bạn nặng về đầu vào, như agent thường vậy; bài so sánh giá cố định và trả theo token chỉ cách pha trộn.

Và GPU đó phải thực sự phục vụ được model. Nếu model cần bốn GPU, hãy nhân chi phí tháng lên bốn trước khi chia.

Người ta hay bỏ quên những chi phí nào?

Chi phí Bao gồm Cách tính
Thiết lập kỹ thuật Serving engine, chọn lượng tử hóa, autoscaling, kiểm thử tải Số giờ một lần × đơn giá của bạn
Vận hành liên tục Nâng cấp, cập nhật driver và engine, làm mới model Số giờ mỗi tháng × đơn giá của bạn
Trực on-call Có người phải thức dậy khi node chết Theo chính sách on-call của bạn
Dự phòng Node thứ hai để một sự cố không thành gián đoạn dịch vụ Gấp đôi dòng chi phí GPU
Dư địa nhàn rỗi Năng lực cho giờ cao điểm mà bạn phải giữ sẵn Làm giảm mức sử dụng
Đánh giá Kiểm tra phiên bản model mới trước khi chuyển Số giờ mỗi lần phát hành

Dự phòng là khoản làm thay đổi câu trả lời nhiều nhất. Một GPU đơn lẻ là một điểm lỗi duy nhất. Hai GPU khiến mức sử dụng của bạn giảm một nửa chỉ sau một đêm. Xem đánh giá model trước khi chuyển để biết phần việc đánh giá mà mỗi lần nâng cấp kéo theo.

Khi nào tự host là lựa chọn đúng?

  • Khối lượng cao và đều. Pipeline batch giữ GPU bão hòa suốt ngày đêm.
  • Dữ liệu phải ở trong mạng của bạn. Một yêu cầu bắt buộc, không phải lập luận về chi phí. Hãy kiểm tra trước xem một API không lưu giữ dữ liệu có đáp ứng quy định của bạn không.
  • Một model không API nào phục vụ. Bản fine-tune của riêng bạn hoặc một model open-weight ngách.
  • Năng lực được đảm bảo. Bạn cần thông lượng mà giới hạn tốc độ của API không cho được.

Với mọi trường hợp khác, nhất là traffic thất thường, sản phẩm giai đoạn đầu và agent chạy theo đợt, API rẻ hơn và không cần lịch trực on-call.

Có lựa chọn giá cố định nào nằm giữa thuê GPU và trả theo token không?

Có một vùng trung gian giữa thuê GPU và trả theo token. BroadNet bán key theo giờ cho Gemma 4 VL 26B với giá $0.50 mỗi giờ (một stream, 120 request mỗi phút, 300,000 token mỗi phút), tức $360.00 nếu bạn chạy cả tháng. BroadNet cũng bán phiên gói không giới hạn cho DeepSeek V4.1 Flash với giá $60 mỗi tháng, mỗi phiên chạy một request tại một thời điểm ở tốc độ khoảng 100 token mỗi giây. Những lựa chọn này cho hóa đơn dễ dự đoán như GPU thuê, không cần thiết lập hay vận hành, nhưng với mức đồng thời cố định cho mỗi key hoặc phiên chứ không phải toàn bộ năng lực batch của một GPU.

BroadNet Inference phù hợp ở đâu?

BroadNet Inference là phía API trong phép so sánh này: giá theo token, gói giá cố định và key theo giờ cho các model open-weight, trong đó một số do đối tác host, với các đối tác inference tại Mỹ, sau một API tương thích OpenAI. Nó phù hợp với các team có traffic sẽ khiến một GPU thuê nằm không phần lớn thời gian trong ngày, hoặc không muốn tự vận hành hạ tầng inference. Nó không phù hợp nếu bạn cần phục vụ một bản fine-tune tùy chỉnh, triển khai on-premises, hoặc hàng trăm request song song trên một key. Hãy nhập số liệu của bạn vào công cụ tính chi phí API LLM và so với bảng ở trên. Nếu bạn vẫn đang cân nhắc giữa model mở và model đóng, chi phí API model open-weight so với model đóng so sánh giá theo token từ trang của chính từng nhà cung cấp. Công cụ tính tự host so với API thực hiện toàn bộ phép tính hòa vốn với thông lượng bạn đo được và các mức giá GPU này.

Câu hỏi thường gặp

Tự host LLM có rẻ hơn dùng API không?

Chỉ khi khối lượng cao và đều. GPU thuê tính tiền từng giờ; API chỉ tính tiền cho token bạn dùng. Nếu GPU của bạn sẽ nằm không phần lớn thời gian trong ngày, API rẻ hơn ngay cả trước khi tính thời gian kỹ thuật.

Thuê H100 theo giờ tốn bao nhiêu?

Trên trang giá của RunPod ngày 2026-11-14, H100 SXM có giá USD 4.39 mỗi giờ trên Secure Cloud và từ USD 2.69 trên Community Cloud. Lambda niêm yết H100 SXM on-demand ở mức USD 4.59 đến 4.89 mỗi GPU-giờ, tùy kích thước node, theo mức giá có hiệu lực từ 2026-11-16. Hãy xem các trang đó để biết giá hiện hành.

Cần bao nhiêu GPU để tự host một model lớn?

Ít nhất đủ bộ nhớ cho trọng số cộng với KV cache cho các request đồng thời của bạn. Các model mixture-of-experts lớn thường cần một node nhiều GPU. Hãy xem model card để biết số tham số và cấu hình khuyến nghị.

Khi nào tự host hợp lý dù tốn hơn?

Khi dữ liệu không được rời khỏi mạng của bạn, khi bạn cần một model fine-tune hoặc model tùy chỉnh mà không API nào phục vụ, hoặc khi bạn cần năng lực được đảm bảo. Đó là lý do về kiểm soát, không phải về chi phí.

Đo thông lượng thực tế của GPU thế nào?

Chạy prompt thật với mức đồng thời thật trên một serving engine như vLLM hoặc SGLang, và ghi lại tổng số token đầu ra mỗi giây trên mọi request. Con số đỉnh của nhà cung cấp giả định batching lý tưởng.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity