BroadRouter
Loslegen

BroadNet Inference aus Go mit dem openai-go SDK aufrufen

Aktualisiert

Installieren Sie github.com/openai/openai-go/v3 und erstellen Sie den Client mit option.WithBaseURL("https://inference.broadnet.ai/v1") und option.WithAPIKey mit Ihrem BroadNet-Schlüssel. Rufen Sie client.Chat.Completions.New mit einer BroadNet-Modell-ID wie broadnet/glm-5.3 als einfachem String auf. Nutzen Sie Chat Completions, nicht die Responses API, und setzen Sie MaxTokens mit Spielraum für Reasoning.

openai-go ist die offizielle Go-Bibliothek von OpenAI. Sie akzeptiert mit option.WithBaseURL eine eigene Basis-URL und kann damit jede OpenAI-kompatible API aufrufen. BroadNet Inference bietet Chat Completions unter https://inference.broadnet.ai/v1. BroadRouter ist die eigene Website von BroadNet; diese Anleitung folgt dem README von openai-go für v3.99.0.

Installieren

go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'

Das aktuelle Release braucht Go 1.26 oder neuer.

Chat Completion

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://inference.broadnet.ai/v1"),
		option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
	)

	resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		Model: "broadnet/glm-5.3",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.SystemMessage("You are a concise Go reviewer."),
			openai.UserMessage("How do I check if a slice is empty in Go?"),
		},
		MaxTokens: openai.Int(2000), // reasoning counts toward this limit
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Choices[0].Message.Content)
}

Starten Sie es mit go run .. Eine ausgegebene Antwort ist Ihr Test: Schlüssel, URL und Modell-ID funktionieren.

  • Model ist ein einfacher String. openai.ChatModel ist ein Typalias für string, daher brauchen BroadNet-IDs keine Umwandlung.
  • Nutzen Sie Chat.Completions. Das README stellt die Responses API (client.Responses.New) an den Anfang, die BroadNet nicht listet. Im Abschnitt zu Chat Completions heißt es, diese API werde „supported indefinitely“ (Übersetzung: unbefristet unterstützt).
  • MaxTokens oder MaxCompletionTokens. Das SDK markiert max_tokens zugunsten von max_completion_tokens als veraltet, die API-Referenz von BroadNet beschreibt aber max_tokens. Verwenden Sie MaxTokens.
  • SystemMessage, nicht DeveloperMessage. Das Beispiel im README nutzt DeveloperMessage, das die Rolle developer sendet. Die API-Referenz von BroadNet erwähnt diese Rolle nicht, also verwenden Sie system und user.

Streaming mit Usage

stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
	Model:     "broadnet/deepseek-v4.1-flash",
	Messages:  []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
	MaxTokens: openai.Int(2000),
	StreamOptions: openai.ChatCompletionStreamOptionsParam{
		IncludeUsage: openai.Bool(true),
	},
})
defer stream.Close()

for stream.Next() {
	chunk := stream.Current()
	if len(chunk.Choices) > 0 {
		fmt.Print(chunk.Choices[0].Delta.Content)
	}
	if chunk.Usage.TotalTokens > 0 {
		fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
	}
}
if err := stream.Err(); err != nil {
	panic(err)
}

Laut Dokumentation von BroadNet kommt die Usage im letzten Chunk, wenn stream_options.include_usage auf true steht; dieser Chunk hat keine Choices, daher die Längenprüfung. Das Wire-Format erklärt Chat Completions streamen.

Fehler und Retries

Das SDK gibt bei Statuscodes außerhalb des Erfolgsbereichs *openai.Error zurück. Verwenden Sie errors.As und lesen Sie StatusCode:

var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
	// back off, then retry
}

openai-go wiederholt manche Fehler standardmäßig zweimal mit kurzem exponentiellem Backoff. Ändern Sie das mit option.WithMaxRetries(n). Retries zählen zu den Rate Limits von BroadNet.

Fehlerbehebung

  • 401. Der Schlüssel ist falsch, abgelaufen oder das Kontingent ist aufgebraucht. Wenn Sie kein WithAPIKey übergeben haben, hat das SDK OPENAI_API_KEY verwendet.
  • 404. Die Basis-URL muss auf /v1 enden, und der Aufruf muss an Chat.Completions gehen, nicht an Responses. Prüfen Sie danach die Modell-ID. Kostenpflichtige Modelle erfordern eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • Leeres Content. Reasoning hat das Ausgabebudget verbraucht. Erhöhen Sie MaxTokens. Warum Antworten leer zurückkommen.
  • 429. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Begrenzen Sie die Goroutinen, die die API gleichzeitig aufrufen. Siehe Fehler und Retries.

Häufige Fragen

Kann ich die BroadNet-URL per Umgebungsvariable statt über Optionen setzen?

Ja. openai-go liest standardmäßig OPENAI_API_KEY und OPENAI_BASE_URL, daher funktioniert openai.NewClient() ohne Optionen, wenn beide BroadNet-Werte enthalten. Ein explizites option.WithBaseURL hat Vorrang vor OPENAI_BASE_URL.

Wie übergebe ich eine BroadNet-Modell-ID, wenn Model openai.ChatModel erwartet?

ChatModel ist in openai-go ein Typalias für string, daher kompiliert Model "broadnet/glm-5.3" unverändert.

Warum SystemMessage statt DeveloperMessage?

DeveloperMessage sendet die Rolle developer, die OpenAI für seine eigenen Modelle eingeführt hat. Die API-Referenz von BroadNet erwähnt diese Rolle nicht, daher ist die übliche Rolle system die sicherere Wahl.

Welche Go-Version brauche ich?

Das aktuelle openai-go v3 braucht Go 1.26 oder neuer. Laut README sollten Sie v3.74.0 festschreiben, wenn Sie bei Go 1.25 bleiben müssen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen