BroadRouter

Gọi BroadNet Inference từ Go bằng SDK openai-go

Cập nhật

Cài github.com/openai/openai-go/v3 và tạo client với option.WithBaseURL("https://inference.broadnet.ai/v1") cùng option.WithAPIKey chứa key BroadNet. Gọi client.Chat.Completions.New với model ID BroadNet như broadnet/glm-5.3 dưới dạng chuỗi thường. Hãy dùng chat completions, không dùng Responses API, và đặt MaxTokens đủ chỗ cho phần suy luận.

openai-go là thư viện Go chính thức của OpenAI. Nó nhận base URL tùy chỉnh qua option.WithBaseURL, nên có thể gọi bất kỳ API tương thích OpenAI nào. BroadNet Inference phục vụ chat completions tại https://inference.broadnet.ai/v1. BroadRouter là website của chính BroadNet; bài này làm theo README của openai-go cho v3.99.0.

Cài đặt

go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'

Bản phát hành hiện tại cần Go 1.26 trở lên.

Chat completion

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://inference.broadnet.ai/v1"),
		option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
	)

	resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		Model: "broadnet/glm-5.3",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.SystemMessage("You are a concise Go reviewer."),
			openai.UserMessage("How do I check if a slice is empty in Go?"),
		},
		MaxTokens: openai.Int(2000), // reasoning counts toward this limit
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Choices[0].Message.Content)
}

Chạy bằng go run .. Câu trả lời được in ra chính là phép thử của bạn: key, URL và model ID đều hoạt động.

  • Model là chuỗi thường. openai.ChatModel là type alias của string, nên ID của BroadNet không cần chuyển đổi.
  • Dùng Chat.Completions. README giới thiệu Responses API (client.Responses.New) trước, nhưng BroadNet không liệt kê API này. Phần Chat Completions của README nói API đó được “supported indefinitely” (Bản dịch: hỗ trợ vô thời hạn).
  • MaxTokens hay MaxCompletionTokens. SDK đánh dấu max_tokens là deprecated để thay bằng max_completion_tokens, nhưng tài liệu tham chiếu API của BroadNet mô tả max_tokens. Hãy dùng MaxTokens.
  • SystemMessage, không phải DeveloperMessage. Ví dụ trong README dùng DeveloperMessage, thứ gửi role developer. Tài liệu tham chiếu API của BroadNet không nhắc tới role đó, nên hãy dùng system và user.

Streaming kèm usage

stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
	Model:     "broadnet/deepseek-v4.1-flash",
	Messages:  []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
	MaxTokens: openai.Int(2000),
	StreamOptions: openai.ChatCompletionStreamOptionsParam{
		IncludeUsage: openai.Bool(true),
	},
})
defer stream.Close()

for stream.Next() {
	chunk := stream.Current()
	if len(chunk.Choices) > 0 {
		fmt.Print(chunk.Choices[0].Delta.Content)
	}
	if chunk.Usage.TotalTokens > 0 {
		fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
	}
}
if err := stream.Err(); err != nil {
	panic(err)
}

Tài liệu BroadNet nói usage tới trong chunk cuối cùng khi stream_options.include_usage là true; chunk đó không có choices, vì vậy mới cần kiểm tra độ dài. Xem streaming chat completions để biết định dạng truyền.

Lỗi và thử lại

SDK trả về *openai.Error cho các status không thành công. Dùng errors.As và đọc StatusCode:

var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
	// back off, then retry
}

Mặc định openai-go thử lại một số lỗi hai lần với backoff lũy thừa ngắn. Đổi bằng option.WithMaxRetries(n). Các lần thử lại cũng tính vào giới hạn request của BroadNet.

Xử lý sự cố

  • 401. Key bị sai, hết hạn hoặc hết hạn mức. Nếu bạn không truyền WithAPIKey, SDK đã dùng OPENAI_API_KEY.
  • 404. Base URL phải kết thúc bằng /v1, và lời gọi phải tới Chat.Completions, không phải Responses. Sau đó kiểm tra model ID. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được cho broadnet/gemma-4-26b-a4b và hai model Transcribe.
  • Content rỗng. Phần suy luận đã dùng hết ngân sách đầu ra. Hãy tăng MaxTokens. Vì sao câu trả lời trả về rỗng.
  • 429. Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý. Hãy giới hạn số goroutine gọi API cùng lúc. Xem lỗi và thử lại.

Câu hỏi thường gặp

Có thể đặt URL BroadNet bằng biến môi trường thay vì option không?

Có. Mặc định openai-go đọc OPENAI_API_KEY và OPENAI_BASE_URL, nên openai.NewClient() không kèm option nào vẫn chạy nếu cả hai biến chứa giá trị của BroadNet. Một option.WithBaseURL được đặt rõ ràng sẽ ghi đè OPENAI_BASE_URL.

Làm sao truyền model ID BroadNet khi trường Model yêu cầu openai.ChatModel?

Trong openai-go, ChatModel là type alias của string, nên Model: "broadnet/glm-5.3" biên dịch được ngay.

Vì sao dùng SystemMessage thay vì DeveloperMessage?

DeveloperMessage gửi role developer, role mà OpenAI đưa ra cho các model của chính họ. Tài liệu tham chiếu API của BroadNet không nhắc tới role này, nên role system chuẩn là lựa chọn an toàn hơn.

Cần phiên bản Go nào?

openai-go v3 hiện tại cần Go 1.26 trở lên. README của nó nói nên ghim v3.74.0 nếu bạn buộc phải ở lại Go 1.25.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity