BroadRouter
Mulakan

Panggil BroadNet Inference daripada Go dengan SDK openai-go

Dikemas kini

Pasang github.com/openai/openai-go/v3 dan cipta klien dengan option.WithBaseURL("https://inference.broadnet.ai/v1") dan option.WithAPIKey yang ditetapkan kepada kunci BroadNet anda. Panggil client.Chat.Completions.New dengan ID model BroadNet seperti broadnet/glm-5.3 sebagai rentetan biasa. Gunakan chat completions, bukan Responses API, dan tetapkan MaxTokens dengan ruang untuk penaakulan.

openai-go ialah pustaka Go rasmi OpenAI. Ia menerima base URL tersuai melalui option.WithBaseURL, jadi ia boleh memanggil mana-mana API serasi OpenAI. BroadNet Inference menyediakan chat completions di https://inference.broadnet.ai/v1. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut README openai-go untuk v3.99.0.

Pasang

go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'

Keluaran semasa memerlukan Go 1.26 atau lebih baharu.

Chat completion

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://inference.broadnet.ai/v1"),
		option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
	)

	resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		Model: "broadnet/glm-5.3",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.SystemMessage("You are a concise Go reviewer."),
			openai.UserMessage("How do I check if a slice is empty in Go?"),
		},
		MaxTokens: openai.Int(2000), // reasoning counts toward this limit
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Choices[0].Message.Content)
}

Jalankannya dengan go run .. Jawapan yang dicetak ialah ujian anda: kunci, URL dan ID model berfungsi.

  • Model ialah rentetan biasa. openai.ChatModel ialah type alias bagi string, jadi ID BroadNet tidak perlu ditukar.
  • Gunakan Chat.Completions. README mendahulukan Responses API (client.Responses.New), yang tidak disenaraikan oleh BroadNet. Bahagian Chat Completions dalam README menyatakan API itu “supported indefinitely” (Terjemahan: disokong tanpa had masa).
  • MaxTokens berbanding MaxCompletionTokens. SDK menandakan max_tokens sebagai deprecated dan memihak kepada max_completion_tokens, tetapi rujukan API BroadNet menerangkan max_tokens. Gunakan MaxTokens.
  • SystemMessage, bukan DeveloperMessage. Contoh README menggunakan DeveloperMessage, yang menghantar peranan developer. Rujukan API BroadNet tidak menyebut peranan itu, jadi gunakan system dan user.

Penstriman dengan usage

stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
	Model:     "broadnet/deepseek-v4.1-flash",
	Messages:  []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
	MaxTokens: openai.Int(2000),
	StreamOptions: openai.ChatCompletionStreamOptionsParam{
		IncludeUsage: openai.Bool(true),
	},
})
defer stream.Close()

for stream.Next() {
	chunk := stream.Current()
	if len(chunk.Choices) > 0 {
		fmt.Print(chunk.Choices[0].Delta.Content)
	}
	if chunk.Usage.TotalTokens > 0 {
		fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
	}
}
if err := stream.Err(); err != nil {
	panic(err)
}

Dokumentasi BroadNet menyatakan usage tiba dalam chunk terakhir apabila stream_options.include_usage bernilai true; chunk itu tiada choices, sebab itulah ada semakan panjang. Lihat penstriman chat completions untuk format wayarnya.

Ralat dan cuba semula

SDK memulangkan *openai.Error untuk status yang tidak berjaya. Gunakan errors.As dan baca StatusCode:

var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
	// back off, then retry
}

Secara lalai, openai-go mencuba semula sesetengah ralat dua kali dengan backoff eksponen yang singkat. Ubahnya dengan option.WithMaxRetries(n). Cubaan semula turut dikira dalam had kadar BroadNet.

Penyelesaian masalah

  • 401. Kunci salah, tamat tempoh atau kehabisan elaun. Jika anda tidak menghantar WithAPIKey, SDK menggunakan OPENAI_API_KEY.
  • 404. Base URL mesti berakhir dengan /v1, dan panggilan mesti ke Chat.Completions, bukan Responses. Kemudian semak ID model. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputi broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • Content kosong. Penaakulan telah menggunakan bajet output. Naikkan MaxTokens. Mengapa jawapan kosong.
  • 429. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Hadkan goroutine yang memanggil API pada masa yang sama. Lihat ralat dan cuba semula.

Soalan lazim

Bolehkah saya menetapkan URL BroadNet dengan pemboleh ubah persekitaran dan bukan options?

Boleh. openai-go membaca OPENAI_API_KEY dan OPENAI_BASE_URL secara lalai, jadi openai.NewClient() tanpa options berfungsi jika kedua-duanya menyimpan nilai BroadNet. option.WithBaseURL yang ditetapkan secara eksplisit mengatasi OPENAI_BASE_URL.

Bagaimanakah saya menghantar ID model BroadNet apabila Model menjangkakan openai.ChatModel?

Dalam openai-go, ChatModel ialah type alias bagi string, jadi Model "broadnet/glm-5.3" boleh dikompil terus.

Mengapakah guna SystemMessage dan bukan DeveloperMessage?

DeveloperMessage menghantar peranan developer, yang diperkenalkan oleh OpenAI untuk model-modelnya sendiri. Rujukan API BroadNet tidak menyebut peranan itu, jadi peranan system yang standard ialah pilihan yang lebih selamat.

Versi Go manakah yang saya perlukan?

openai-go v3 semasa memerlukan Go 1.26 atau lebih baharu. README-nya menyatakan supaya menyemat v3.74.0 jika anda perlu kekal pada Go 1.25.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity