BroadRouter

Dùng LangChain với BroadNet Inference

Cập nhật

Cài langchain-openai rồi tạo ChatOpenAI với base_url là https://inference.broadnet.ai/v1, api_key là key BroadNet và một model ID như broadnet/glm-5.3. Khi đó invoke, stream và chain gọi tool đều chạy qua chat completions. Tránh các tính năng chỉ có ở Responses API, và chừa chỗ trong max_tokens cho phần suy luận.

ChatOpenAI của LangChain nhận bất kỳ endpoint nào qua base_url. Cách này chạy được với BroadNet Inference vì BroadNet dùng cấu trúc chat completions chuẩn. Nếu bạn gọi API trực tiếp, hãy xem hướng dẫn Python SDK.

Cài đặt

Các bản langchain-openai hiện tại (1.x) cần Python 3.11 trở lên.

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

Kết nối

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

Như chú thích trong code, token suy luận cũng được tính vào giới hạn max_tokens.

openai_api_base là alias của base_url. Nếu không có cả hai, LangChain đọc OPENAI_API_BASE, rồi client openai bên dưới đọc OPENAI_BASE_URL.

Những điều cần biết

  • Văn bản suy luận không được giữ lại. Tài liệu LangChain cho biết ChatOpenAI tuân theo đặc tả chính thức của OpenAI và không giữ các trường không chuẩn như reasoning_content. Bạn nhận được câu trả lời cuối cùng, và thường đó là thứ một chain cần.
  • Chừa chỗ cho suy luận. GLM 5.3, DeepSeek V4.1 Flash và Qwen3.8 27B suy luận trước. max_tokens nhỏ có thể khiến câu trả lời rỗng. Vì sao câu trả lời trả về rỗng.
  • Usage khi streaming. Khi bạn cấu hình endpoint bằng OPENAI_BASE_URL, LangChain mặc định tắt stream_usage. Truyền stream_usage=True nếu muốn có số token khi streaming. Tài liệu BroadNet cho biết usage nằm trong chunk cuối nếu request yêu cầu.
  • Chỉ dùng chat completions. BroadNet phục vụ /v1/chat/completions, không có Responses API. Tài liệu LangChain cho biết ChatOpenAI chuyển sang Responses API khi bạn dùng tool có sẵn của OpenAI (web search, file search, code interpreter và tương tự), trạng thái hội thoại, hoặc tham số reasoning. Hãy bỏ những thứ đó, và đừng đặt use_responses_api=True.
  • Tên tham số giới hạn token. Tài liệu LangChain cho biết max_tokens được chuyển nội bộ thành max_completion_tokens. Tài liệu BroadNet mô tả max_tokens. Nếu giới hạn có vẻ bị bỏ qua, hãy kiểm tra request mà ứng dụng thực sự gửi đi.

Model nào cho chain nào

Chain Model
Gọi tool và đầu ra có cấu trúc broadnet/glm-5.3
Tài liệu dài và agent, gói không giới hạn broadnet/deepseek-v4.1-flash
Văn bản tiếng Ả Rập hoặc hình ảnh broadnet/qwen3.8-27b

Xem giá của mọi model.

Xử lý sự cố

  • 401. Key sai, đã hết hạn hoặc đã hết hạn mức trả theo mức dùng. Nếu bạn không truyền api_key, LangChain đã dùng OPENAI_API_KEY, biến này có thể đang chứa key OpenAI.
  • 404 hoặc “not found”. Kiểm tra base_url kết thúc bằng /v1 và không có gì chuyển lệnh gọi sang Responses API (xem ở trên). Sau đó kiểm tra model ID khớp chính xác với ID của BroadNet, kể cả tiền tố broadnet/. Model trả phí cần nạp tiền; $5 tín dụng ban đầu dùng được cho broadnet/gemma-4-26b-a4b và hai model Transcribe.
  • content rỗng. Phần suy luận đã dùng hết ngân sách. Hãy tăng max_tokens. Vì sao câu trả lời trả về rỗng.
  • Tool không bao giờ được gọi. Hãy dùng broadnet/glm-5.3 hoặc broadnet/qwen3.8-27b. Tài liệu BroadNet chỉ ghi hỗ trợ tool cho hai model này.
  • 429 trong chain chạy batch hoặc song song. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đồng thời. Với batch(), hãy đặt max_concurrency trong runnable config. Xem mã lỗi và thử lại.

Câu hỏi thường gặp

Trong ChatOpenAI nên dùng base_url hay openai_api_base?

Cái nào cũng được. openai_api_base là alias của base_url. Nếu không truyền cái nào, LangChain kiểm tra OPENAI_API_BASE, rồi client openai đọc OPENAI_BASE_URL.

Có thể đặt endpoint BroadNet chỉ bằng biến môi trường không?

Có. Đặt OPENAI_BASE_URL là https://inference.broadnet.ai/v1 và OPENAI_API_KEY là key BroadNet, rồi tạo ChatOpenAI chỉ với model ID. Truyền stream_usage=True nếu bạn muốn có số token khi streaming.

Vì sao LangChain bỏ reasoning_content trong phản hồi của BroadNet?

Tài liệu LangChain cho biết ChatOpenAI tuân theo đặc tả chính thức của OpenAI và không trích xuất các trường không chuẩn như reasoning_content. Bạn vẫn nhận câu trả lời cuối cùng trong content.

ChatOpenAI với BroadNet có hỗ trợ gọi tool không?

Có, qua bind_tools, trên các model BroadNet ghi là hỗ trợ tool. Hãy dùng broadnet/glm-5.3 hoặc broadnet/qwen3.8-27b cho gọi tool và with_structured_output.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity