BroadRouter

Memanggil BroadNet Inference dari Go dengan SDK openai-go

Diperbarui

Instal github.com/openai/openai-go/v3 dan buat client dengan option.WithBaseURL("https://inference.broadnet.ai/v1") serta option.WithAPIKey berisi kunci BroadNet Anda. Panggil client.Chat.Completions.New dengan ID model BroadNet seperti broadnet/glm-5.3 sebagai string biasa. Gunakan chat completions, bukan Responses API, dan atur MaxTokens dengan ruang untuk penalaran.

openai-go adalah library Go resmi dari OpenAI. Library ini menerima base URL kustom lewat option.WithBaseURL, jadi bisa memanggil API apa pun yang kompatibel dengan OpenAI. BroadNet Inference melayani chat completions di https://inference.broadnet.ai/v1. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti README openai-go untuk v3.99.0.

Instalasi

go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'

Rilis saat ini membutuhkan Go 1.26 atau lebih baru.

Chat completion

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://inference.broadnet.ai/v1"),
		option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
	)

	resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		Model: "broadnet/glm-5.3",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.SystemMessage("You are a concise Go reviewer."),
			openai.UserMessage("How do I check if a slice is empty in Go?"),
		},
		MaxTokens: openai.Int(2000), // reasoning counts toward this limit
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Choices[0].Message.Content)
}

Jalankan dengan go run .. Jawaban yang tercetak adalah tesnya: kunci, URL, dan ID model berfungsi.

  • Model adalah string biasa. openai.ChatModel adalah type alias untuk string, jadi ID BroadNet tidak perlu dikonversi.
  • Gunakan Chat.Completions. README dibuka dengan Responses API (client.Responses.New), yang tidak dicantumkan BroadNet. Bagian Chat Completions di README menyebut API itu “supported indefinitely” (terjemahan: didukung tanpa batas waktu).
  • MaxTokens vs MaxCompletionTokens. SDK menandai max_tokens sebagai deprecated dan menyarankan max_completion_tokens, tetapi referensi API BroadNet menjelaskan max_tokens. Gunakan MaxTokens.
  • SystemMessage, bukan DeveloperMessage. Contoh di README memakai DeveloperMessage, yang mengirim role developer. Referensi API BroadNet tidak menyebut role itu, jadi gunakan system dan user.

Streaming dengan usage

stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
	Model:     "broadnet/deepseek-v4.1-flash",
	Messages:  []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
	MaxTokens: openai.Int(2000),
	StreamOptions: openai.ChatCompletionStreamOptionsParam{
		IncludeUsage: openai.Bool(true),
	},
})
defer stream.Close()

for stream.Next() {
	chunk := stream.Current()
	if len(chunk.Choices) > 0 {
		fmt.Print(chunk.Choices[0].Delta.Content)
	}
	if chunk.Usage.TotalTokens > 0 {
		fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
	}
}
if err := stream.Err(); err != nil {
	panic(err)
}

Menurut dokumentasi BroadNet, usage dikirim di chunk terakhir jika stream_options.include_usage bernilai true; chunk itu tidak berisi choices, karena itulah ada pengecekan panjang. Lihat streaming chat completions untuk format datanya.

Error dan percobaan ulang

SDK mengembalikan *openai.Error untuk status yang tidak sukses. Gunakan errors.As dan baca StatusCode:

var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
	// back off, then retry
}

Secara default openai-go mengulang beberapa jenis error dua kali dengan exponential backoff singkat. Ubah dengan option.WithMaxRetries(n). Percobaan ulang ikut dihitung dalam rate limit BroadNet.

Troubleshooting

  • 401. Kunci salah, kedaluwarsa, atau jatahnya habis. Jika Anda tidak memberikan WithAPIKey, SDK memakai OPENAI_API_KEY.
  • 404. Base URL harus diakhiri /v1, dan panggilan harus ke Chat.Completions, bukan Responses. Lalu periksa ID model. Model berbayar memerlukan top up; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b.
  • Content kosong. Penalaran menghabiskan jatah output. Naikkan MaxTokens. Kenapa jawaban kembali kosong.
  • 429. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Batasi jumlah goroutine yang memanggil API sekaligus. Lihat error dan percobaan ulang.

Pertanyaan umum

Bisakah URL BroadNet diatur lewat environment variable, bukan option?

Bisa. Secara default openai-go membaca OPENAI_API_KEY dan OPENAI_BASE_URL, jadi openai.NewClient() tanpa option sudah jalan jika keduanya berisi nilai BroadNet. option.WithBaseURL yang ditulis eksplisit akan menimpa OPENAI_BASE_URL.

Bagaimana memberikan ID model BroadNet jika Model mengharapkan openai.ChatModel?

Di openai-go, ChatModel adalah type alias untuk string, jadi Model "broadnet/glm-5.3" langsung bisa dikompilasi apa adanya.

Kenapa memakai SystemMessage dan bukan DeveloperMessage?

DeveloperMessage mengirim role developer, yang diperkenalkan OpenAI untuk model-modelnya sendiri. Referensi API BroadNet tidak menyebut role itu, jadi role system standar adalah pilihan yang lebih aman.

Versi Go berapa yang dibutuhkan?

openai-go v3 saat ini membutuhkan Go 1.26 atau lebih baru. README-nya menyarankan pin ke v3.74.0 jika Anda harus tetap di Go 1.25.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity