BroadRouter
Magsimula

Base URL ng OpenAI-compatible API: 14 na provider, sinuri

Ng BroadNet Inference team · 6 minutong basa · Nailathala

Sa OpenAI-compatible API, puwede mong panatilihin ang OpenAI SDK at dalawa lang ang papalitan: ang base_url at ang API key. Iba-iba ang base URL kada provider, halimbawa https://api.groq.com/openai/v1 sa Groq, https://openrouter.ai/api/v1 sa OpenRouter at https://inference.broadnet.ai/v1 sa BroadNet Inference. Magkakaiba pa rin ang path, model ID at mga suportadong parameter, kaya mag-test muna ng isang request bago lumipat.

Tumatanggap ang OpenAI-compatible API ng parehong hugis ng request gaya ng API ng OpenAI, kaya gumagana ang opisyal na OpenAI SDK kapag pinalitan mo ang base_url at ang API key. Ang mahirap: medyo iba-iba ang lugar ng endpoint ng bawat provider. Nakalista sa table sa ibaba ang 14, at binasa ang bawat isa mula sa sariling dokumentasyon ng provider noong Nobyembre 15, 2026.

Ano ang base URL ng bawat OpenAI-compatible na provider?

Provider Base URL Ano ang nakalista sa OpenAI-compatibility docs nito Mga quirk na sinasabi ng docs
OpenAI https://api.openai.com/v1 Lahat; ito ang reference Default ng SDK kapag walang naka-set
Anthropic https://api.anthropic.com/v1/ Chat completions “Primarily intended to test and compare model capabilities” (salin: pangunahing para mag-test at magkumpara ng kakayahan ng mga model); binabalewala ang strict; 400 ang balik ng audio at file input
Google Gemini https://generativelanguage.googleapis.com/v1beta/openai/ Chat completions, embeddings, image generation, models, batch Suporta sa OpenAI library ay “still in beta” (salin: nasa beta pa); walang nakalistang Responses API
DeepSeek https://api.deepseek.com Chat completions Walang version path; may hiwalay na URL para sa Anthropic format sa /anthropic
Groq https://api.groq.com/openai/v1 Chat completions, Responses API; may notes sa audio transcription 400 ang balik ng logprobs, logit_bias, top_logprobs, messages[].name; dapat 1 ang n; walang srt o vtt na transcript
Together AI https://api.together.ai/v1 Chat, completions, images, speech, transcriptions, models, Responses US-only na inference sa https://us-api.together.ai/v1; embeddings sa dedicated endpoint lang
Fireworks AI https://api.fireworks.ai/inference/v1 Chat completions Model ID na gaya ng accounts/fireworks/models/…; ibinababa ang max_tokens para magkasya sa context imbes na mag-error, maliban kung sasabihan
DeepInfra https://api.deepinfra.com/v1/openai Chat completions; parehong base ang gamit ng Responses client Nasa hiwalay na page ang docs ng embeddings, images at speech
Mistral AI https://api.mistral.ai/v1 POST /v1/chat/completions Hindi tinatawag ng API reference nito ang sarili na OpenAI-compatible; mag-test bago umasa rito
OpenRouter https://openrouter.ai/api/v1 Chat completions Optional na HTTP-Referer at X-OpenRouter-Title header para sa rankings nito
xAI https://api.x.ai/v1 Responses API Sabi ng guide nito: “The Responses API is the preferred way of interacting with our models” (salin: ang Responses API ang preferred na paraan ng paggamit sa mga model namin)
Z.ai (GLM) https://api.z.ai/api/paas/v4/ Chat completions v4 ang path, hindi v1
Alibaba Model Studio https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1 (Singapore) Chat completions Nasa host ang workspace ID; gumagana lang ang key sa region kung saan ito ginawa, kung hindi ay 401
BroadNet Inference https://inference.broadnet.ai/v1 Chat completions, audio transcriptions Nagsisimula sa broadnet/ ang mga model ID; tingnan sa ibaba

May nakalista ring US (Virginia) endpoint ang Alibaba sa us-east-1. Ang Beijing row nito sa parehong page ay nagpapakita ng host ng Singapore, habang cn-beijing ang binabanggit ng ibang text sa page, kaya kumpirmahin sa console ang endpoint para sa China. Snapshot lang ang table. Lumilipat ang mga endpoint: parehong nag-redirect sa bagong address ang docs ng Anthropic at ng Google habang sinusuri namin ang mga ito.

Para sa presyo ng mga provider na ito, tingnan ang mga page ng presyo ng LLM API ayon sa provider.

Paano i-set ang base URL sa code?

Sa Python, ipasa ang base_url sa client:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
r = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Say hello in one line."}],
)
print(r.choices[0].message.content)

Sa Node, baseURL ang option:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://inference.broadnet.ai/v1",
  apiKey: process.env.BROADNET_API_KEY,
});

O i-set ito nang isang beses para sa lahat ng tool na gumagamit ng opisyal na SDK. Sa source ng Node SDK, ang default ng baseURL ay process.env['OPENAI_BASE_URL'], saka https://api.openai.com/v1; dino-document din ng Python README ang parehong variable:

export OPENAI_BASE_URL="https://inference.broadnet.ai/v1"
export OPENAI_API_KEY="your-key"

Buong walk-through: OpenAI Python SDK, OpenAI Node SDK. Para malaman kung ano ang base URL at bakit ito hinihingi ng mga tool, tingnan ang glosaryo.

Paano i-test ang bagong base URL gamit ang curl?

Magpadala ng isang maliit na request bago baguhin ang anumang application code:

curl https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "broadnet/gemma-4-26b-a4b", "messages": [{"role": "user", "content": "ping"}], "max_tokens": 20}'

Palitan ang base URL, key at model ayon sa provider na tine-test mo. Kapag 200 na may choices array, tama ang path, key at model ID. Kadalasang mali ang path kapag 404; mali ang key o region kapag 401; at madalas na binabanggit ng 400 ang parameter na tinatanggihan ng provider. Mas marami pang halimbawa sa curl quickstart, at isinusulat para sa iyo ng API request builder ang curl, Python at Node na bersyon.

Ano ang mga karaniwang pagkakamali kapag pinapalitan ang base_url?

  • Pag-paste ng buong endpoint. Dinudugtungan ng SDK ng /chat/completions ang base URL. Kapag nagtatapos na ito roon, magiging /chat/completions/chat/completions ito at 404 ang resulta.
  • Pagdagdag o pagtanggal ng /v1 dahil nakasanayan. Walang /v1 ang documented na base ng DeepSeek, nagtatapos sa /v4/ ang sa Z.ai at sa /v1beta/openai/ ang sa Gemini. Kopyahin ang eksaktong string ng provider.
  • Pagpapanatili ng pangalan ng model ng OpenAI. Pumapalya sa ibang lugar ang mga pangalang gpt-…. May sariling format ang bawat provider: deepseek-ai/DeepSeek-V4-Flash-0731 sa DeepInfra, accounts/fireworks/models/… sa Fireworks, broadnet/deepseek-v4.1-flash sa BroadNet.
  • Pagpapadala ng parameter na tinatanggihan o binabalewala ng provider. 400 ang balik ng Groq para sa logprobs; tahimik na binabalewala ng layer ng Anthropic ang seed, logit_bias at reasoning_effort. Mas masama ang parameter na tahimik na binabalewala kaysa error, dahil walang magsasabi sa iyo.
  • Pag-aakalang pareho ang mga field ng response. Walang laman na prompt_tokens_details ang ibinabalik ng layer ng Anthropic, kaya walang ulat ng cached token. Inilalagay ng Fireworks ang streaming usage sa huling chunk, na posibleng hindi dine-declare ng mga type ng SDK.
  • Pag-aakalang kumpleto ang lahat ng endpoint. Kadalasan, chat completions ang ibig sabihin ng “OpenAI-compatible”. Hiwalay na usapan ang embeddings, audio, image generation at Responses API, gaya ng ipinapakita ng table.
  • Paghahalo ng region. Nakatali sa region ang mga key ng Alibaba, at may hiwalay na US-only na host ang Together. Pumapalya pa rin ang valid na key sa maling host.

Nasa OpenAI-compatible migration checklist ang buong listahan bago lumipat.

Aling mga endpoint ang suportado ng BroadNet Inference?

Dalawang model endpoint sa https://inference.broadnet.ai/v1 ang dino-document ng API reference ng BroadNet, dagdag ang GET /v1/models para sa catalogue metadata:

Endpoint Mga model
POST /v1/chat/completions DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B, BroadNet Gemma 4 VL 26B
POST /v1/audio/transcriptions BroadNet Transcribe Arabic, BroadNet Transcribe (14 na wika)

Ano ang ibig sabihin nito sa praktika:

  • Walang documented na embeddings, image generation o Responses API. Kung kailangan ng isang tool ang isa sa mga ito, kailangan nito ng pangalawang provider para sa bahaging iyon.
  • Documented ang tool calling at structured output para sa GLM 5.3 at Qwen3.8 27B.
  • Ipinapasok ang mga larawan bilang data: URL sa loob ng image_url content part, sa DeepSeek V4.1 Flash, Qwen3.8 27B at Gemma 4 VL 26B.
  • Binibilang ng mga reasoning model (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B) ang reasoning sa max_tokens. Mag-iwan ng 1,000 token o higit pa, o i-set ang reasoning_effort sa low, gaya ng payo ng docs; tingnan kung bakit walang laman ang sagot ng mga reasoning model.
  • May sumagot na listahan ng model nang tawagin namin ang GET /v1/models noong Nobyembre 15, 2026, pero wala ito sa listahan ng documented na endpoint, kaya huwag itong pagbatayan.
  • Ang mga limit sa pay-as-you-go key ay 30 request kada minuto at 4 na sabay-sabay na request.

Presyo kada 1M token: DeepSeek V4.1 Flash $0.175 sa input at $0.52 sa output, Gemma 4 VL 26B $0.10 at $0.22. Ibinebenta rin ang DeepSeek V4.1 Flash bilang flat plan sa $60 kada buwan kada session, isang request sa bawat pagkakataon.

Dapat mo bang padaanin ang ilang provider sa iisang base URL?

Kung tumatawag ang app mo sa ilan sa mga provider na ito, puwedeng bigyan ng proxy gaya ng LiteLLM ang code mo ng iisang base URL at i-map ang mga pangalan ng model sa bawat upstream. Ikaw ang pipili ng mapping; walang lilipat ng provider para sa iyo maliban kung ikaw mismo ang mag-configure ng fallback. Ipinapakita ng LLM API failover kung paano, sa client man o sa LiteLLM. May BroadNet entry sa gabay sa LiteLLM proxy. Para sa background ng termino, tingnan ang OpenAI-compatible API.

Saan pumapasok ang BroadNet Inference

Bagay ang BroadNet kung chat completions na ang gamit ng code mo at gusto mo ng mga open model, Arabic at multilingual na speech-to-text, o flat-rate na DeepSeek session sa iisang key. Hindi ito bagay kung kailangan mo ng embeddings, Responses API o image generation mula sa parehong provider; mas malaking bahagi ng OpenAI surface ang dino-document ng Together AI at Gemini. I-check ang table namin laban sa docs ng bawat provider bago ka mag-ship, dahil nagbabago ang mga URL at listahan ng endpoint na ito.

Mga tanong

Ano ang base URL ng OpenAI API?

https://api.openai.com/v1. Ito ang ginagamit ng opisyal na Node SDK kapag hindi mo sine-set ang baseURL o ang environment variable na OPENAI_BASE_URL.

Dapat bang magtapos sa /v1 o sa /chat/completions ang base_url?

Tapusin ito kung saan ito tinatapos ng docs ng provider, kadalasan sa /v1. Ang SDK na mismo ang nagdadagdag ng /chat/completions, kaya magbibigay ng 404 ang base URL na nagtatapos na sa /chat/completions.

Puwede ko bang i-set ang base URL gamit ang environment variable?

Oo. Binabasa ng parehong opisyal na OpenAI SDK ang OPENAI_BASE_URL, at ganoon din ang maraming tool na nakabase sa mga ito. I-set din ang OPENAI_API_KEY, at tingnan ang docs ng bawat tool, dahil may mga gumagamit ng sariling pangalan ng variable.

OpenAI-compatible ba ang Claude API?

Bahagya. Nag-aalok ang Anthropic ng https://api.anthropic.com/v1/ para sa OpenAI SDK, pero sinasabi nitong pangunahing para sa testing at pagkumpara ng mga model ang layer, hindi pangmatagalang production path. Binabalewala nito ang strict sa tools at tinatanggihan ang audio at file input.

Aling mga endpoint ang suportado ng BroadNet Inference?

Nakalista sa docs nito ang POST /v1/chat/completions at POST /v1/audio/transcriptions. Hindi nakalista ang embeddings, image generation o ang Responses API.

Bakit gumagana ang request ko sa OpenAI pero pumapalya sa ibang provider?

Kadalasan, mali ang format ng model ID, o may parameter na tinatanggihan ng provider. Halimbawa, nagbabalik ang Groq ng 400 para sa logprobs, logit_bias, top_logprobs at messages[].name. Tanggalin ang mga optional na parameter at i-retry gamit ang eksaktong model ID ng provider.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity