BroadRouter

Go の openai-go SDK から BroadNet Inference を呼び出す

更新日

github.com/openai/openai-go/v3 をインストールし、option.WithBaseURL("https://inference.broadnet.ai/v1") と、BroadNet のキーを渡した option.WithAPIKey でクライアントを作成します。client.Chat.Completions.New には broadnet/glm-5.3 などの BroadNet のモデル ID をそのまま文字列で渡します。Responses API ではなくチャット補完を使い、MaxTokens は推論の分も見込んで設定してください。

openai-go は OpenAI 公式の Go ライブラリです。option.WithBaseURL でカスタムのベース URL を指定できるので、OpenAI 互換の API ならどれでも呼び出せます。BroadNet Inference は https://inference.broadnet.ai/v1 でチャット補完を提供しています。BroadRouter は BroadNet 自身のサイトです。この記事は openai-go v3.99.0 の README に従っています。

インストール

go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'

現在のリリースには Go 1.26 以上が必要です。

チャット補完

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://inference.broadnet.ai/v1"),
		option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
	)

	resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		Model: "broadnet/glm-5.3",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.SystemMessage("You are a concise Go reviewer."),
			openai.UserMessage("How do I check if a slice is empty in Go?"),
		},
		MaxTokens: openai.Int(2000), // reasoning counts toward this limit
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Choices[0].Message.Content)
}

go run . で実行します。回答が表示されればテストは成功で、キー、URL、モデル ID が正しく動いています。

  • Model は普通の文字列です。openai.ChatModel は string の型エイリアスなので、BroadNet の ID を変換する必要はありません。
  • Chat.Completions を使います。 README は最初に Responses API(client.Responses.New)を紹介していますが、BroadNet はこの API を記載していません。README の Chat Completions のセクションには、この API は “supported indefinitely”(訳:無期限にサポートされる)と書かれています。
  • MaxTokens と MaxCompletionTokens。 SDK は max_tokens を非推奨とし、max_completion_tokens を推奨していますが、BroadNet の API リファレンスに記載されているのは max_tokens です。MaxTokens を使ってください。
  • DeveloperMessage ではなく SystemMessage。 README の例は DeveloperMessage を使っており、これは developer ロールを送ります。BroadNet の API リファレンスにはこのロールの記載がないので、system と user を使ってください。

使用量付きのストリーミング

stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
	Model:     "broadnet/deepseek-v4.1-flash",
	Messages:  []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
	MaxTokens: openai.Int(2000),
	StreamOptions: openai.ChatCompletionStreamOptionsParam{
		IncludeUsage: openai.Bool(true),
	},
})
defer stream.Close()

for stream.Next() {
	chunk := stream.Current()
	if len(chunk.Choices) > 0 {
		fmt.Print(chunk.Choices[0].Delta.Content)
	}
	if chunk.Usage.TotalTokens > 0 {
		fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
	}
}
if err := stream.Err(); err != nil {
	panic(err)
}

BroadNet のドキュメントによると、stream_options.include_usage が true のとき、使用量は最後のチャンクで届きます。そのチャンクには choices がないため、長さをチェックしています。データ形式は chat completions のストリーミングを参照してください。

エラーとリトライ

成功以外のステータスでは、SDK は *openai.Error を返します。errors.As で取り出し、StatusCode を確認します。

var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
	// back off, then retry
}

openai-go はデフォルトで、一部のエラーを短い指数バックオフで 2 回リトライします。option.WithMaxRetries(n) で変更できます。リトライも BroadNet のレート制限にカウントされます。

トラブルシューティング

  • 401。 キーが間違っている、期限切れ、または利用枠を使い切っています。WithAPIKey を渡していない場合、SDK は OPENAI_API_KEY を使っています。
  • 404。 ベース URL は /v1 で終わっている必要があり、呼び出し先は Responses ではなく Chat.Completions でなければなりません。そのうえでモデル ID を確認してください。有料モデルにはチャージが必要です。$5 のクレジットで使えるのは broadnet/gemma-4-26b-a4b と 2 つの Transcribe モデルだけです。
  • Content が空。 推論(reasoning)が出力の上限を使い切っています。MaxTokens を上げてください。回答が空になる理由。
  • 429。 従量課金のキーは毎分 30 リクエスト、同時 4 リクエストまでです。API を同時に呼び出す goroutine の数を制限してください。エラーとリトライを参照してください。

よくある質問

オプションではなく環境変数で BroadNet の URL を設定できますか?

できます。openai-go はデフォルトで OPENAI_API_KEY と OPENAI_BASE_URL を読むので、両方に BroadNet の値を入れておけば、オプションなしの openai.NewClient() で動きます。明示的な option.WithBaseURL は OPENAI_BASE_URL より優先されます。

Model が openai.ChatModel 型なのに、BroadNet のモデル ID をどう渡せばいいですか?

openai-go では ChatModel は string の型エイリアスなので、Model "broadnet/glm-5.3" はそのままコンパイルできます。

DeveloperMessage ではなく SystemMessage を使うのはなぜですか?

DeveloperMessage は developer ロールを送ります。これは OpenAI が自社モデル向けに導入したロールです。BroadNet の API リファレンスにはこのロールの記載がないので、標準の system ロールのほうが安全です。

どのバージョンの Go が必要ですか?

現在の openai-go v3 には Go 1.26 以上が必要です。README には、Go 1.25 のままにする必要がある場合は v3.74.0 に固定するよう書かれています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く