Khi một model open-weight được phát hành, vẫn phải có ai đó chạy nó. Nhà cung cấp inference là những công ty làm việc đó.
Cách hoạt động
Nhà cung cấp nạp trọng số model lên GPU, chạy phần mềm phục vụ để gom request theo lô và quản lý bộ nhớ, rồi đặt một API phía trước. Hầu hết cung cấp API tương thích OpenAI, nên bạn đổi nhà cung cấp bằng cách đổi base URL, key và model ID.
Thuật ngữ này bao gồm một vài mô hình kinh doanh:
- Phòng lab model tự phục vụ model của họ.
- Nhà host độc lập phục vụ model open-weight từ nhiều phòng lab.
- Cloud cho thuê GPU hoặc endpoint được quản lý, đôi khi tính theo giờ GPU.
- Nền tảng tổng hợp. Inference Providers của Hugging Face cho truy cập “hundreds of machine learning models, powered by world-class inference providers” (Bản dịch: hàng trăm model học máy, được vận hành bởi các nhà cung cấp inference hàng đầu thế giới) chỉ qua một token. Một router LLM cũng hoạt động theo cách tương tự.
Vì định dạng API giống nhau, cùng một đoạn code chạy được trên bất kỳ nhà cung cấp nào. Chỉ ba giá trị thay đổi:
import os
from openai import OpenAI
msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
base_url="https://inference.broadnet.ai/v1", # the provider
api_key=os.environ["BROADNET_API_KEY"], # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs) # its model ID
Trong đoạn code trên, base_url là nhà cung cấp, api_key là key của nhà cung cấp đó và model là model ID của họ. Cách tính giá cũng khác nhau: theo token, theo phút âm thanh, theo giờ hoặc giá cố định theo phiên.
Vì sao quan trọng
Chọn nhà cung cấp phần lớn là chọn những đánh đổi mà bạn không thấy được qua tên model:
- Xử lý dữ liệu. Việc lưu giữ, ghi log và dùng để huấn luyện khác nhau giữa các bên. Hãy tìm chính sách không lưu giữ dữ liệu bằng văn bản.
- Nơi chạy. Khu vực và bên xử lý phụ quan trọng với việc tuân thủ.
- Giới hạn. Số request đồng thời, rate limit và độ dài context có thể thấp hơn mức tối đa của model.
- Cách phục vụ. Độ chính xác số học và thiết lập phục vụ ảnh hưởng đến tốc độ và đôi khi cả đầu ra.
- Cách tính giá. Cách tính phù hợp tùy vào lưu lượng của bạn; xem so sánh giá các nhà cung cấp.
- Mức giá. Cùng một model mở có thể đắt gấp vài lần ở nhà cung cấp này so với nhà cung cấp khác. Xem cùng model, khác nơi host.
Trên BroadNet Inference
BroadNet Inference là một nhà cung cấp inference. Tuyên bố quyền riêng tư của họ cho biết các model riêng và các model open-weight mà họ host “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (Bản dịch: chạy trên phần cứng BroadNet sở hữu hoặc thuê tại Hoa Kỳ, có năng lực của đối tác làm dự phòng), và các model do đối tác phục vụ chạy theo điều khoản không lưu giữ dữ liệu với các đối tác inference tại Hoa Kỳ. Nội dung request và phản hồi không được lưu giữ.
Họ cung cấp các model chat, gồm DeepSeek V4.1 Flash và GLM 5.3, cùng hai model chuyển giọng nói thành văn bản qua API tương thích OpenAI tại https://inference.broadnet.ai/v1. Cách tính phí gồm trả theo mức dùng theo token hoặc theo phút âm thanh, key theo giờ, hoặc gói giá cố định cho DeepSeek V4.1 Flash. Hãy dùng checklist chọn nhà cung cấp để so sánh với các bên khác theo tiêu chí của riêng bạn.