BroadRouter
Loslegen

Semantic Kernel mit BroadNet Inference nutzen

Aktualisiert

Erstellen Sie in Python einen AsyncOpenAI-Client mit base_url https://inference.broadnet.ai/v1 und Ihrem BroadNet-Schlüssel und übergeben Sie ihn als async_client an OpenAIChatCompletion, mit ai_model_id auf einer BroadNet-ID wie broadnet/glm-5.3. In C# rufen Sie AddOpenAIChatCompletion mit einer Endpoint-Uri auf, was Microsoft als experimentell kennzeichnet (SKEXP0010). Für Plugins nutzen Sie GLM 5.3 oder Qwen3.8 27B.

Semantic Kernel ist Microsofts SDK, um KI-Apps und Agenten in C#, Python und Java zu bauen. Sein OpenAI-Connector funktioniert mit anderen OpenAI-kompatiblen Diensten: In Python übergeben Sie Ihren eigenen OpenAI-Client, in C# einen eigenen Endpunkt. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 Standard-Chat-Completions bereit, daher funktionieren beide Wege. BroadRouter ist die Website von BroadNet; diese Anleitung folgt der Semantic-Kernel-Dokumentation von Microsoft und dem Python-Quellcode von 1.47.0.

Python

pip install semantic-kernel
export BROADNET_API_KEY='your-broadnet-key'
import asyncio, os
from openai import AsyncOpenAI
from semantic_kernel.connectors.ai.open_ai import OpenAIChatCompletion, OpenAIChatPromptExecutionSettings
from semantic_kernel.contents import ChatHistory

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
chat = OpenAIChatCompletion(ai_model_id="broadnet/glm-5.3", async_client=client, service_id="broadnet")

async def main():
    history = ChatHistory()
    history.add_user_message("Give me three names for a billing microservice.")
    settings = OpenAIChatPromptExecutionSettings(max_tokens=4000)
    print(await chat.get_chat_message_content(chat_history=history, settings=settings))

asyncio.run(main())

ai_model_id wird unverändert gesendet; behalten Sie also das Präfix broadnet/ bei. Das Argument api_key von OpenAIChatCompletion brauchen Sie nicht, wenn Sie einen Client übergeben.

Plugins und Function Calling

from semantic_kernel import Kernel
from semantic_kernel.connectors.ai.function_choice_behavior import FunctionChoiceBehavior
from semantic_kernel.functions import kernel_function

class Weather:
    @kernel_function(description="Get the weather for a city.")
    def get_weather(self, city: str) -> str:
        return f"21C in {city}"

kernel = Kernel()
kernel.add_service(chat)
kernel.add_plugin(Weather(), plugin_name="weather")
settings = OpenAIChatPromptExecutionSettings(
    max_tokens=4000,
    function_choice_behavior=FunctionChoiceBehavior.Auto(),
)
# await chat.get_chat_message_content(chat_history=history, settings=settings, kernel=kernel)

Semantic Kernel sendet das Plugin als Tool namens weather-get_weather, führt es aus, wenn das Modell danach fragt, und schickt das Ergebnis zurück. Nutzen Sie broadnet/glm-5.3 oder broadnet/qwen3.8-27b; die BroadNet-Dokumentation nennt Tools nur für diese beiden.

Agenten

from semantic_kernel.agents import ChatCompletionAgent

agent = ChatCompletionAgent(service=chat, name="helper", instructions="Answer briefly.", plugins=[Weather()])
# response = await agent.get_response(messages="What's the weather in Dubai?")

C# (.NET)

Die Microsoft-Dokumentation nennt dieses Muster für „other AI service providers that support the OpenAI chat completion API“ (Übersetzung: „andere KI-Dienstanbieter, die die OpenAI Chat Completion API unterstützen“). Die C#-Version haben wir nicht ausgeführt.

using Microsoft.SemanticKernel;

#pragma warning disable SKEXP0010
IKernelBuilder kernelBuilder = Kernel.CreateBuilder();
kernelBuilder.AddOpenAIChatCompletion(
    modelId: "broadnet/glm-5.3",
    apiKey: Environment.GetEnvironmentVariable("BROADNET_API_KEY"),
    endpoint: new Uri("https://inference.broadnet.ai/v1")
);
Kernel kernel = kernelBuilder.Build();

Installieren Sie den Connector mit dotnet add package Microsoft.SemanticKernel.Connectors.OpenAI.

Welches Modell passt?

Einsatz Modell
Plugins, Function Calling, Agenten broadnet/glm-5.3
Plugins plus Bildeingabe oder arabischer Text broadnet/qwen3.8-27b
Chat und Zusammenfassungen ohne Tools, Flatrate-Plan broadnet/deepseek-v4.1-flash

Preise für alle Modelle.

So haben wir das getestet

Am 2026-11-15 haben wir semantic-kernel 1.47.0 für Python in einer frischen virtuellen Umgebung installiert und einfachen Chat, Streaming, automatisches Function Calling und einen ChatCompletionAgent gegen einen lokalen Mock-Server ausgeführt, der das Chat-Completions-Format von BroadNet spricht. Die protokollierten Anfragen haben wir ausgewertet. Alle gingen an /v1/chat/completions, mit unveränderter BroadNet-Modell-ID und einem Bearer-Schlüssel. max_tokens wurde unter diesem Namen gesendet, Streaming ergänzte stream_options.include_usage, und Function Calling sendete tool_choice: "auto". Wir hatten keinen BroadNet-Schlüssel und haben daher keine echte Modellausgabe getestet. Das C#-Snippet stammt aus der Microsoft-Dokumentation und wurde nicht ausgeführt.

Fehlerbehebung

  • 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent ist aufgebraucht.
  • 404. Die base_url des Clients muss auf /v1 enden. Prüfen Sie die Modell-ID. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • Leere Antworten. Bei DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B zählt Reasoning zu max_tokens. Erhöhen Sie den Wert. Warum Antworten leer zurückkommen.
  • Reasoning-Modelle und Rollen. Die Microsoft-Dokumentation empfiehlt instruction_role="developer" für Reasoning-Modelle von OpenAI. Die API-Referenz von BroadNet erwähnt die Rolle developer nicht; lassen Sie instruction_role daher auf dem Standardwert. Unser Agent-Test hat die Anweisungen in einer system-Nachricht gesendet.
  • 429. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Siehe Fehlercodes und Retries.

Häufige Fragen

Wie setze ich in Semantic Kernel für Python eine eigene Base-URL?

OpenAIChatCompletion hat in Version 1.47 kein Argument base_url. Erstellen Sie einen openai.AsyncOpenAI-Client mit base_url und api_key und übergeben Sie ihn als async_client. Dieser Client schickt dann jede Anfrage an BroadNet.

Warum braucht der eigene Endpunkt in C# ein Pragma?

Laut Microsoft-Dokumentation ist die Nutzung eigener Endpunkte mit dem OpenAI-Connector experimentell; die Überladung mit Endpoint braucht daher #pragma warning disable SKEXP0010.

Funktioniert automatisches Function Calling mit BroadNet?

Es nutzt Standard-Tool-Calls über Chat Completions; verwenden Sie also ein Modell, das BroadNet mit Tools führt: GLM 5.3 oder Qwen3.8 27B. In unserem Test mit einem Mock-Server hat Semantic Kernel das Plugin als Tool gesendet und das Ergebnis in einer Tool-Nachricht zurückgegeben.

Funktioniert der ChatCompletionAgent von Semantic Kernel mit BroadNet?

Ja. Er nimmt denselben OpenAIChatCompletion-Dienst. In unserem Python-Test hat er die Agent-Anweisungen als System-Nachricht gesendet und das Plugin über Chat Completions aufgerufen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen