BroadRouter
Comenzar

Llame a BroadNet Inference desde Go con el SDK openai-go

Actualizado

Instale github.com/openai/openai-go/v3 y cree el cliente con option.WithBaseURL("https://inference.broadnet.ai/v1") y option.WithAPIKey con su clave de BroadNet. Llame a client.Chat.Completions.New con un ID de modelo de BroadNet, como broadnet/glm-5.3, como string normal. Use chat completions, no la Responses API, y defina MaxTokens con margen para el razonamiento.

openai-go es la biblioteca oficial de OpenAI para Go. Acepta una base URL personalizada con option.WithBaseURL, así que puede llamar a cualquier API compatible con OpenAI. BroadNet Inference ofrece chat completions en https://inference.broadnet.ai/v1. BroadRouter es el sitio de la propia BroadNet; esta guía sigue el README de openai-go para la v3.99.0.

Instalación

go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'

La versión actual requiere Go 1.26 o posterior.

Chat completion

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://inference.broadnet.ai/v1"),
		option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
	)

	resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		Model: "broadnet/glm-5.3",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.SystemMessage("You are a concise Go reviewer."),
			openai.UserMessage("How do I check if a slice is empty in Go?"),
		},
		MaxTokens: openai.Int(2000), // reasoning counts toward this limit
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Choices[0].Message.Content)
}

Ejecútelo con go run .. Si se imprime una respuesta, la prueba está hecha: la clave, la URL y el ID del modelo funcionan.

  • Model es un string normal. openai.ChatModel es un alias de tipo de string, así que los IDs de BroadNet no necesitan conversión.
  • Use Chat.Completions. El README empieza por la Responses API (client.Responses.New), que BroadNet no ofrece. Su sección de Chat Completions dice que esa API está “supported indefinitely” (traducción: admitida de forma indefinida).
  • MaxTokens frente a MaxCompletionTokens. El SDK marca max_tokens como obsoleto en favor de max_completion_tokens, pero la referencia de la API de BroadNet describe max_tokens. Use MaxTokens.
  • SystemMessage, no DeveloperMessage. El ejemplo del README usa DeveloperMessage, que envía el rol developer. La referencia de la API de BroadNet no menciona ese rol, así que use system y user.

Streaming con datos de uso

stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
	Model:     "broadnet/deepseek-v4.1-flash",
	Messages:  []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
	MaxTokens: openai.Int(2000),
	StreamOptions: openai.ChatCompletionStreamOptionsParam{
		IncludeUsage: openai.Bool(true),
	},
})
defer stream.Close()

for stream.Next() {
	chunk := stream.Current()
	if len(chunk.Choices) > 0 {
		fmt.Print(chunk.Choices[0].Delta.Content)
	}
	if chunk.Usage.TotalTokens > 0 {
		fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
	}
}
if err := stream.Err(); err != nil {
	panic(err)
}

La documentación de BroadNet indica que el uso llega en el último chunk cuando stream_options.include_usage es true; ese chunk no tiene choices, de ahí la comprobación de longitud. Consulte streaming de chat completions para ver el formato de los datos.

Errores y reintentos

El SDK devuelve *openai.Error para los estados que no son de éxito. Use errors.As y lea StatusCode:

var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
	// back off, then retry
}

openai-go reintenta algunos errores dos veces por defecto, con un backoff exponencial corto. Cámbielo con option.WithMaxRetries(n). Los reintentos cuentan para los límites de tasa de BroadNet.

Solución de problemas

  • 401. La clave es incorrecta, caducó o se quedó sin saldo. Si no pasó WithAPIKey, el SDK usó OPENAI_API_KEY.
  • 404. La base URL debe terminar en /v1, y la llamada debe ir a Chat.Completions, no a Responses. Después revise el ID del modelo. Los modelos de pago requieren una recarga; el crédito de $5 cubre solo broadnet/gemma-4-26b-a4b y los dos modelos Transcribe.
  • Content vacío. El razonamiento consumió el presupuesto de salida. Aumente MaxTokens. Por qué las respuestas llegan vacías.
  • 429. Una clave de pago por uso permite 30 solicitudes por minuto y 4 en curso. Limite las goroutines que llaman a la API al mismo tiempo. Consulte errores y reintentos.

Preguntas frecuentes

¿Puedo definir la URL de BroadNet con variables de entorno en lugar de opciones?

Sí. openai-go lee OPENAI_API_KEY y OPENAI_BASE_URL por defecto, así que openai.NewClient() sin opciones funciona si ambas contienen los valores de BroadNet. Un option.WithBaseURL explícito tiene prioridad sobre OPENAI_BASE_URL.

¿Cómo paso un ID de modelo de BroadNet si Model espera openai.ChatModel?

En openai-go, ChatModel es un alias de tipo de string, así que Model "broadnet/glm-5.3" compila tal cual.

¿Por qué usar SystemMessage en lugar de DeveloperMessage?

DeveloperMessage envía el rol developer, que OpenAI introdujo para sus propios modelos. La referencia de la API de BroadNet no menciona ese rol, así que el rol system estándar es la opción más segura.

¿Qué versión de Go necesito?

La versión actual de openai-go v3 requiere Go 1.26 o posterior. Su README indica fijar v3.74.0 si debe quedarse en Go 1.25.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity