BroadRouter
Bắt đầu

Claude Code với model mở: proxy, endpoint gốc và giới hạn

Đội ngũ BroadNet Inference · 6 phút đọc · Đăng ngày

Claude Code gửi request Anthropic Messages API tới ANTHROPIC_BASE_URL. Để dùng nhà cung cấp tương thích OpenAI, hãy chạy một proxy chuyển đổi như LiteLLM rồi trỏ Claude Code tới đó, hoặc chọn nhà cung cấp có endpoint định dạng Anthropic riêng như DeepSeek hay Z.ai. Anthropic không hỗ trợ model ngoài Claude trong Claude Code, nên hãy tự test tool, cache và giới hạn context.

Claude Code gửi mọi request theo định dạng Anthropic Messages API, tới /v1/messages trên địa chỉ mà ANTHROPIC_BASE_URL trỏ tới. Phần lớn nhà cung cấp model mở, kể cả BroadNet Inference, lại dùng định dạng OpenAI. Vì vậy bạn cần hoặc một proxy chuyển đổi giữa hai định dạng, hoặc một nhà cung cấp công bố endpoint định dạng Anthropic riêng. Bài này đề cập cả hai cách, cùng những giới hạn quyết định việc này có đáng làm hay không.

Vì sao Claude Code không gọi trực tiếp được API tương thích OpenAI?

Hướng dẫn tương thích gateway của Claude Code liệt kê các định dạng mà một gateway phải cung cấp. Với một base URL thông thường, đó là Anthropic Messages: /v1/messages, /v1/messages/count_tokens là tùy chọn, và phải chuyển tiếp các header anthropic-beta và anthropic-version. Một API tương thích OpenAI phục vụ /v1/chat/completions với cấu trúc request và response khác. Trỏ Claude Code thẳng vào đó thì request sẽ thất bại.

Còn một điều cần biết trước khi bắt đầu. Chính tài liệu của Claude Code nói Anthropic “doesn’t support routing Claude Code to non-Claude models through any gateway.” (bản dịch: không hỗ trợ định tuyến Claude Code tới model ngoài Claude qua bất kỳ gateway nào.) Nhiều người vẫn làm vậy, nhưng sẽ không ai ở Anthropic debug giúp bạn.

Ba lựa chọn của bạn là gì?

Cách Hoạt động thế nào Phù hợp nhất cho Đánh đổi
Proxy chuyển đổi (LiteLLM) Claude Code giao tiếp định dạng Anthropic với một proxy cục bộ; proxy gọi nhà cung cấp tương thích OpenAI Dùng một nhà cung cấp tương thích OpenAI cụ thể, như BroadNet Thêm một tiến trình phải chạy và cập nhật; có chỗ chuyển đổi bị thiếu
Endpoint định dạng Anthropic gốc Nhà cung cấp tự nhận /v1/messages Model DeepSeek hoặc GLM từ chính hãng làm model Mỗi nơi ánh xạ hoặc bỏ qua một số field
Agent khác Dùng agent nhận base URL tương thích OpenAI Ai không nhất thiết cần Claude Code Bạn từ bỏ giao diện và tính năng của Claude Code

Chạy Claude Code qua LiteLLM thế nào?

Hướng dẫn của LiteLLM cho model không phải của Anthropic làm như sau: cài proxy, định nghĩa model trong config.yaml, khởi động, rồi đặt hai biến trong Claude Code. LiteLLM chuyển đổi giữa các định dạng, nên Claude Code vẫn tiếp tục gửi request Anthropic.

Định nghĩa các model BroadNet giống như trong hướng dẫn LiteLLM, với tiền tố openai/ và api_base:

model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Khởi động proxy:

uv tool install 'litellm[proxy]'
export BROADNET_API_KEY='your-broadnet-key'
export LITELLM_MASTER_KEY='sk-any-local-secret'
litellm --config config.yaml   # listens on http://0.0.0.0:4000

Sau đó trỏ Claude Code tới proxy. ANTHROPIC_AUTH_TOKEN được gửi dưới dạng header Authorization: Bearer, đúng thứ LiteLLM đọc:

export ANTHROPIC_BASE_URL=http://0.0.0.0:4000
export ANTHROPIC_AUTH_TOKEN="$LITELLM_MASTER_KEY"
export ANTHROPIC_MODEL=glm                  # main model
export ANTHROPIC_DEFAULT_HAIKU_MODEL=qwen   # background tasks
export ANTHROPIC_DEFAULT_SONNET_MODEL=glm   # the sonnet alias
export ANTHROPIC_DEFAULT_OPUS_MODEL=glm     # the opus alias
export CLAUDE_CODE_SUBAGENT_MODEL=glm       # subagents
claude

Chạy /status trong Claude Code. Dòng Anthropic base URL phải hiện địa chỉ proxy.

Các biến model rất quan trọng. Trang Claude Code của LiteLLM cảnh báo rằng chọn một tên Claude có sẵn mà cấu hình của bạn không định nghĩa sẽ thất bại với lỗi “Invalid model name passed in” (bản dịch: tên model được truyền vào không hợp lệ). Tham chiếu biến môi trường của Claude Code nói ANTHROPIC_DEFAULT_HAIKU_MODEL cũng được dùng cho chức năng chạy nền, nên hãy ánh xạ cả biến này, nếu không request chạy nền sẽ hỏi một tên Haiku mà proxy không biết. CLAUDE_CODE_SUBAGENT_MODEL đặt model mặc định cho subagent, nhưng model mà Claude truyền vào khi tạo subagent, thường là một alias như sonnet hoặc haiku, sẽ được ưu tiên. Ánh xạ thêm các alias sonnet và opus nghĩa là những request đó vẫn trỏ tới một model mà proxy biết. Hãy giữ key BroadNet trong môi trường của proxy, đừng bao giờ để trong .claude/settings.json được commit của một dự án.

Endpoint DeepSeek và GLM nào chạy được không cần proxy?

Hai hãng làm model công bố base URL định dạng Anthropic:

Nhà cung cấp Base URL Cách xử lý model (theo tài liệu của họ, truy cập ngày 2026-11-15)
DeepSeek https://api.deepseek.com/anthropic Tên claude-sonnet* và claude-haiku* ánh xạ sang deepseek-flash; claude-opus* ánh xạ sang deepseek-v4-pro; tên không bắt đầu bằng claude trả về 400
Z.ai (GLM Coding Plan) https://api.z.ai/api/anthropic Key đặt trong ANTHROPIC_AUTH_TOKEN; ví dụ cấu hình thủ công ánh xạ Opus và Sonnet sang glm-5.3[1m] và Haiku sang glm-5.3-flash[1m]

Ghi chú phát hành ngày 10 tháng 9 năm 2026 của DeepSeek nói deepseek-flash phục vụ DeepSeek-V4.1-Flash. Trang Anthropic API của họ cũng liệt kê những gì bị bỏ qua: cache_control, budget_tokens, disable_parallel_tool_use và header anthropic-version, cùng một số thứ khác. Trên deepseek-flash, hình ảnh trong message của assistant trả về 400, còn deepseek-v4-pro thay hình ảnh bằng “[Unsupported Image]”.

Nếu bạn chỉ muốn dùng DeepSeek hoặc GLM trong Claude Code, các endpoint gốc này là con đường ngắn nhất. Giá và giới hạn gói của cả hai được so sánh trong trang lựa chọn thay thế Claude API.

Những gì hỏng hoặc thay đổi khi dùng model ngoài Claude?

Chuyển đổi giúp request vẫn chạy, nhưng một số tính năng của Claude Code phụ thuộc vào những thứ mà proxy hoặc model khác có thể không chuyển tiếp. Tài liệu của Claude Code nêu tên các mục sau:

  • Prompt caching. Claude Code đánh dấu các khối system và message bằng cache_control. Nếu gateway hoặc phía upstream bỏ nó đi thì không có lỗi, nhưng mọi lượt đều bị tính như đầu vào không cache. Với upstream tương thích OpenAI, cache tuân theo quy tắc riêng của nhà cung cấp đó. BroadNet tính đầu vào từ cache ở giá thấp hơn khi khối usage báo cache hit; hãy kiểm tra cached_tokens trong log.
  • Đếm token. Không có /v1/messages/count_tokens, Claude Code chuyển sang ước tính dựa trên số ký tự, nên /context chỉ là gần đúng.
  • Context window. Claude Code áp dụng cửa sổ mặc định riêng cho tên model nó không nhận ra. Hãy đặt CLAUDE_CODE_AUTO_COMPACT_WINDOW (100.000 đến 1.000.000 token) cho khớp với model. Với Qwen3.8 27B, context 262.144 token, hãy đặt thấp hơn nhiều so với con số đó.
  • Field không xác định. Lỗi 400 có nhắc Extra inputs are not permitted hoặc một giá trị anthropic-beta nghĩa là phía upstream đã từ chối một field chưa phát hành chính thức. Tài liệu gợi ý CLAUDE_CODE_DISABLE_EXPERIMENTAL_BETAS=1.
  • Suy nghĩ (thinking). MAX_THINKING_TOKENS và adaptive thinking là tính năng của Claude. Trên BroadNet, DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và các token suy luận đó được tính vào max_tokens. Nếu câu trả lời trả về rỗng, hãy tăng giới hạn đầu ra hoặc gửi reasoning_effort là low. Xem vì sao model suy luận trả về câu trả lời rỗng.
  • Hình ảnh. GLM 5.3 trên BroadNet chỉ nhận văn bản. Hãy dùng Qwen3.8 27B nếu bạn dán ảnh chụp màn hình.

Hãy test trọn vẹn một tác vụ thật, có sửa file, chạy lệnh shell và một phiên dài, trước khi dựa vào nó.

Nên đặt model BroadNet nào phía sau Claude Code?

Claude Code đọc file, sửa file và chạy lệnh qua tool call. Tài liệu tham chiếu API của BroadNet ghi tool, đầu ra có cấu trúc và suy luận cho hai model:

Model Đầu vào / đầu ra mỗi 1M token Context Hình ảnh Có tài liệu về tool
GLM 5.3 $0.78 / $3.46 1.048.576 Không Có
Qwen3.8 27B $0.175 / $2.17 262.144 Có Có
DeepSeek V4.1 Flash $0.175 / $0.52 1.048.576 Có Không có tài liệu

GLM 5.3 là model chính tự nhiên cho repository lớn. Qwen3.8 27B rẻ hơn mỗi token đầu vào và dùng được cho hình ảnh và các lời gọi nền nhẹ hơn. Cả hai đều cần nạp tiền; $5 tín dụng ban đầu không áp dụng cho chúng. So sánh GLM 5.3 và Qwen3.8 27B đặt hai model cạnh nhau.

Có dùng gói giá cố định của BroadNet với Claude Code được không?

Đây không phải cách kết hợp có trong tài liệu, và tốt hơn là biết điều đó trước khi mua. Các gói Full Moon, Orbit và Meteor chỉ áp dụng cho DeepSeek V4.1 Flash, và BroadNet không ghi tool calling cho model này. Mỗi phiên của gói cũng chạy một request tại một thời điểm. Claude Code có thể chạy subagent và tác vụ nền song song với vòng lặp chính, và các request đó sẽ phải xếp hàng trên một phiên.

Nếu bạn muốn giá cố định, hãy dùng một agent mà BroadNet có tài liệu đi kèm gói, như Aider. Với Claude Code, hãy dùng GLM 5.3 hoặc Qwen3.8 27B trả theo mức dùng, cho phép 30 request mỗi phút và 4 request đang chạy cùng lúc trên mỗi key. Hãy backoff khi gặp 429 như trong lỗi và retry.

Khi nào một agent khác là lựa chọn tốt hơn?

Nếu bạn không cần chính Claude Code, hãy bỏ qua proxy. opencode, Cline, Roo Code, Continue và Aider đều nhận trực tiếp base URL tương thích OpenAI, key và model ID. Tên field của từng công cụ có trong dùng model mở trong coding agent, cùng hướng dẫn cài đặt cho opencode và Cline. Ít bộ phận chuyển động hơn nghĩa là ít lỗi chuyển đổi hơn. Để so sánh model cho công việc này, xem model mở tốt nhất cho coding agent.

Hãy ở lại với model Claude nếu công việc của bạn phụ thuộc vào tính năng riêng của Claude như extended thinking, prompt caching của Anthropic hoặc các bản beta mới nhất của Claude Code. Khi đó, hãy giảm chi phí ngay trong Claude Code thay vì đổi model.

BroadNet Inference phù hợp ở đâu

BroadNet Inference là API tương thích OpenAI, nên chỉ đến được Claude Code qua một proxy như LiteLLM. Phía sau proxy, GLM 5.3 và Qwen3.8 27B là hai model có tài liệu về tool calling, tính tiền theo token và không lưu giữ nội dung sau request. Nếu bạn muốn một endpoint định dạng Anthropic gốc, DeepSeek và Z.ai đơn giản hơn. Nếu bạn muốn gói giá cố định của BroadNet, hãy kết hợp nó với một agent dùng định dạng OpenAI.

Câu hỏi thường gặp

Claude Code có dùng được DeepSeek không?

Có, theo hai cách. DeepSeek công bố một base URL định dạng Anthropic, https://api.deepseek.com/anthropic, ánh xạ tên claude-sonnet và claude-haiku sang deepseek-flash, và tên claude-opus sang deepseek-v4-pro. Hoặc bạn đặt một proxy chuyển đổi như LiteLLM trước bất kỳ nhà host tương thích OpenAI nào có model DeepSeek.

Claude Code có chạy với API tương thích OpenAI không?

Không trực tiếp. Claude Code gửi request Anthropic Messages API tới /v1/messages. Một proxy như LiteLLM nhận các request đó và chuyển tiếp tới endpoint /chat/completions kiểu OpenAI, rồi chuyển đổi phản hồi trở lại.

Anthropic có hỗ trợ dùng Claude Code với model khác không?

Không. Tài liệu gateway của Claude Code nói Anthropic không hỗ trợ định tuyến Claude Code tới model ngoài Claude qua bất kỳ gateway nào. Trên thực tế nhiều người vẫn dùng được, nhưng lỗi trên con đường đó bạn phải tự debug.

Nên đặt model BroadNet nào phía sau Claude Code?

GLM 5.3 hoặc Qwen3.8 27B. BroadNet chỉ ghi tool calling trong tài liệu cho hai model này, và Claude Code sửa file, chạy lệnh qua tool. GLM 5.3 có context 1.048.576 token; Qwen3.8 27B có 262.144 token và nhận hình ảnh.

Có chạy Claude Code bằng gói không giới hạn của BroadNet được không?

Đây không phải cách kết hợp có trong tài liệu. Các gói giá cố định chỉ áp dụng cho DeepSeek V4.1 Flash, và BroadNet không ghi tool calling cho model này. Một phiên của gói cũng chạy một request tại một thời điểm, trong khi Claude Code có thể chạy các subagent song song.

Vì sao Claude Code báo Invalid model name khi đi qua LiteLLM?

Claude Code đã yêu cầu một tên model mà config.yaml của bạn không định nghĩa, thường là một alias Claude có sẵn hoặc model Haiku chạy nền. Hãy đặt ANTHROPIC_MODEL và ANTHROPIC_DEFAULT_HAIKU_MODEL thành các tên trong model_list của bạn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity