BroadRouter

BroadNet Inference из Go: SDK openai-go

Обновлено

Установите github.com/openai/openai-go/v3 и создайте клиент с option.WithBaseURL("https://inference.broadnet.ai/v1") и option.WithAPIKey с ключом BroadNet. Вызывайте client.Chat.Completions.New, передав ID модели BroadNet, например broadnet/glm-5.3, обычной строкой. Используйте chat completions, а не Responses API, и задайте MaxTokens с запасом на рассуждения.

openai-go — официальная библиотека OpenAI для Go. Она принимает свой базовый URL через option.WithBaseURL, поэтому работает с любым OpenAI-совместимым API. BroadNet Inference обслуживает chat completions по адресу https://inference.broadnet.ai/v1. BroadRouter — собственный сайт BroadNet; руководство следует README openai-go для v3.99.0.

Установка

go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'

Текущему релизу нужен Go 1.26 или новее.

Запрос chat completion

В примере модель просят ответить как лаконичный ревьюер Go-кода; комментарий в коде напоминает, что рассуждения учитываются в этом лимите.

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://inference.broadnet.ai/v1"),
		option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
	)

	resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		Model: "broadnet/glm-5.3",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.SystemMessage("You are a concise Go reviewer."),
			openai.UserMessage("How do I check if a slice is empty in Go?"),
		},
		MaxTokens: openai.Int(2000), // reasoning counts toward this limit
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Choices[0].Message.Content)
}

Запустите командой go run .. Если ответ напечатался, проверка пройдена: ключ, URL и ID модели работают.

  • Model — обычная строка. openai.ChatModel — псевдоним типа string, поэтому ID BroadNet не нужно преобразовывать.
  • Используйте Chat.Completions. README начинается с Responses API (client.Responses.New), которого нет в списке BroadNet. В разделе README про Chat Completions сказано, что этот API “supported indefinitely” (перевод: «поддерживается бессрочно»).
  • MaxTokens или MaxCompletionTokens. SDK помечает max_tokens как устаревший в пользу max_completion_tokens, но справочник API BroadNet описывает max_tokens. Используйте MaxTokens.
  • SystemMessage, а не DeveloperMessage. В примере из README используется DeveloperMessage, который отправляет роль developer. В справочнике API BroadNet эта роль не упоминается, поэтому используйте system и user.

Стриминг с usage

stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
	Model:     "broadnet/deepseek-v4.1-flash",
	Messages:  []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
	MaxTokens: openai.Int(2000),
	StreamOptions: openai.ChatCompletionStreamOptionsParam{
		IncludeUsage: openai.Bool(true),
	},
})
defer stream.Close()

for stream.Next() {
	chunk := stream.Current()
	if len(chunk.Choices) > 0 {
		fmt.Print(chunk.Choices[0].Delta.Content)
	}
	if chunk.Usage.TotalTokens > 0 {
		fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
	}
}
if err := stream.Err(); err != nil {
	panic(err)
}

Документация BroadNet говорит, что usage приходит в последнем чанке, если stream_options.include_usage равно true; у этого чанка нет choices, отсюда проверка длины. Формат передачи данных описан в руководстве по стримингу chat completions.

Ошибки и повторные запросы

При неуспешных статусах SDK возвращает *openai.Error. Используйте errors.As и читайте StatusCode (комментарий в коде: подождать, затем повторить):

var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
	// back off, then retry
}

По умолчанию openai-go повторяет некоторые ошибки дважды с короткой экспоненциальной задержкой. Изменить это можно через option.WithMaxRetries(n). Повторы учитываются в лимитах запросов BroadNet.

Решение проблем

  • 401. Ключ неверен, истёк или исчерпан лимит. Если вы не передали WithAPIKey, SDK взял OPENAI_API_KEY.
  • 404. Базовый URL должен заканчиваться на /v1, а вызов должен идти в Chat.Completions, а не в Responses. Затем проверьте ID модели. Для платных моделей нужно пополнить баланс; грант $5 покрывает только broadnet/gemma-4-26b-a4b.
  • Пустой Content. Рассуждения израсходовали бюджет на выход. Увеличьте MaxTokens. Почему ответы приходят пустыми.
  • 429. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Ограничьте число горутин, которые обращаются к API одновременно. См. ошибки и повторные запросы.

Вопросы и ответы

Можно ли задать URL BroadNet переменными окружения вместо опций?

Да. openai-go по умолчанию читает OPENAI_API_KEY и OPENAI_BASE_URL, так что openai.NewClient() без опций работает, если в обеих переменных значения BroadNet. Явная опция option.WithBaseURL переопределяет OPENAI_BASE_URL.

Как передать ID модели BroadNet, если Model ожидает openai.ChatModel?

В openai-go ChatModel — псевдоним типа string, поэтому Model "broadnet/glm-5.3" компилируется как есть.

Почему SystemMessage, а не DeveloperMessage?

DeveloperMessage отправляет роль developer, которую OpenAI ввела для своих моделей. В справочнике API BroadNet эта роль не упоминается, поэтому стандартная роль system надёжнее.

Какая версия Go нужна?

Текущему openai-go v3 нужен Go 1.26 или новее. README советует закрепить v3.74.0, если вам нужно остаться на Go 1.25.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity