BroadRouter
Inizia

Chiamare BroadNet Inference da Go con l’SDK openai-go

Aggiornato

Installa github.com/openai/openai-go/v3 e crea il client con option.WithBaseURL("https://inference.broadnet.ai/v1") e option.WithAPIKey con la tua chiave BroadNet. Chiama client.Chat.Completions.New con un ID di modello BroadNet, come broadnet/glm-5.3, passato come semplice stringa. Usa chat completions, non la Responses API, e imposta MaxTokens lasciando spazio al ragionamento.

openai-go è la libreria Go ufficiale di OpenAI. Accetta una base URL personalizzata con option.WithBaseURL, quindi può chiamare qualsiasi API compatibile con OpenAI. BroadNet Inference serve chat completions su https://inference.broadnet.ai/v1. BroadRouter è il sito di BroadNet; questa guida segue il README di openai-go per la v3.99.0.

Installazione

go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'

L’attuale release richiede Go 1.26 o successivo.

Chat completion

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://inference.broadnet.ai/v1"),
		option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
	)

	resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		Model: "broadnet/glm-5.3",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.SystemMessage("You are a concise Go reviewer."),
			openai.UserMessage("How do I check if a slice is empty in Go?"),
		},
		MaxTokens: openai.Int(2000), // reasoning counts toward this limit
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Choices[0].Message.Content)
}

Eseguilo con go run .. Se stampa una risposta, il test è superato: chiave, URL e ID del modello funzionano.

  • Model è una semplice stringa. openai.ChatModel è un alias di tipo per string, quindi gli ID di BroadNet non richiedono conversioni.
  • Usa Chat.Completions. Il README parte dalla Responses API (client.Responses.New), che BroadNet non elenca. La sua sezione su Chat Completions dice che quell’API è “supported indefinitely” (traduzione: supportata a tempo indeterminato).
  • MaxTokens o MaxCompletionTokens. L’SDK segna max_tokens come deprecato a favore di max_completion_tokens, ma il riferimento API di BroadNet descrive max_tokens. Usa MaxTokens.
  • SystemMessage, non DeveloperMessage. L’esempio del README usa DeveloperMessage, che invia il ruolo developer. Il riferimento API di BroadNet non menziona quel ruolo, quindi usa system e user.

Streaming con usage

stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
	Model:     "broadnet/deepseek-v4.1-flash",
	Messages:  []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
	MaxTokens: openai.Int(2000),
	StreamOptions: openai.ChatCompletionStreamOptionsParam{
		IncludeUsage: openai.Bool(true),
	},
})
defer stream.Close()

for stream.Next() {
	chunk := stream.Current()
	if len(chunk.Choices) > 0 {
		fmt.Print(chunk.Choices[0].Delta.Content)
	}
	if chunk.Usage.TotalTokens > 0 {
		fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
	}
}
if err := stream.Err(); err != nil {
	panic(err)
}

La documentazione di BroadNet dice che l’usage arriva nell’ultimo chunk quando stream_options.include_usage è true; quel chunk non ha choices, da qui il controllo sulla lunghezza. Per il formato sul filo vedi streaming delle chat completions.

Errori e nuovi tentativi

Per gli stati di errore l’SDK restituisce *openai.Error. Usa errors.As e leggi StatusCode:

var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
	// back off, then retry
}

Di default openai-go ritenta due volte alcuni errori, con un breve backoff esponenziale. Puoi cambiarlo con option.WithMaxRetries(n). I nuovi tentativi contano nei limiti di frequenza di BroadNet.

Risoluzione dei problemi

  • 401. La chiave è sbagliata, scaduta o ha esaurito la quota. Se non hai passato WithAPIKey, l’SDK ha usato OPENAI_API_KEY.
  • 404. La base URL deve terminare con /v1 e la chiamata deve andare a Chat.Completions, non a Responses. Poi controlla l’ID del modello. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solo broadnet/gemma-4-26b-a4b e i due modelli Transcribe.
  • Content vuoto. Il ragionamento ha consumato il budget di output. Alza MaxTokens. Perché le risposte arrivano vuote.
  • 429. Una chiave a consumo consente 30 richieste al minuto e 4 in corso. Limita le goroutine che chiamano l’API nello stesso momento. Vedi errori e nuovi tentativi.

Domande frequenti

Posso impostare l’URL di BroadNet con le variabili d’ambiente invece che con le option?

Sì. openai-go legge di default OPENAI_API_KEY e OPENAI_BASE_URL, quindi openai.NewClient() senza option funziona se entrambe contengono i valori di BroadNet. Un option.WithBaseURL esplicito ha la precedenza su OPENAI_BASE_URL.

Come passo un ID di modello BroadNet se Model si aspetta openai.ChatModel?

In openai-go ChatModel è un alias di tipo per string, quindi Model "broadnet/glm-5.3" compila così com’è.

Perché usare SystemMessage invece di DeveloperMessage?

DeveloperMessage invia il ruolo developer, che OpenAI ha introdotto per i propri modelli. Il riferimento API di BroadNet non menziona quel ruolo, quindi il ruolo standard system è la scelta più sicura.

Quale versione di Go mi serve?

L’attuale openai-go v3 richiede Go 1.26 o successivo. Il README dice di fissare la v3.74.0 se devi restare su Go 1.25.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity