---
title: "dspy.LM DSPy dengan api_base serasi OpenAI | BroadRouter"
description: "Konfigurasikan dspy.LM untuk BroadNet Inference dengan awalan openai/, api_base dan model_type=\"chat\", kerana DSPy 3.5 menghantar model OpenAI ke Responses API."
url: https://broadrouter.com/ms/guides/dspy-openai-compatible/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/guides/dspy-openai-compatible/) (dikemas kini 2026-11-16).

# Guna DSPy dengan BroadNet Inference (tetapkan model\_type="chat")

Dikemas kini 2026-11-16

Cipta dspy.LM dengan model "openai/broadnet/glm-5.3", model\_type="chat", api\_base https://inference.broadnet.ai/v1 dan api\_key BroadNet anda, kemudian hantarkannya kepada dspy.configure. Bahagian model\_type="chat" penting: DSPy 3.5 menghantar model berawalan openai/ ke Responses API secara lalai, dan BroadNet tidak menyediakannya. Dalam ujian kami dengan pelayan olok-olok, tanpanya panggilan pergi ke /v1/responses dan mendapat 404, dan endpoint langsung BroadNet juga menjawab laluan itu dengan 404.

DSPy ialah rangka kerja Python untuk memprogram model bahasa dengan signature dan modul, serta untuk mengoptimumkan prompt di sebaliknya. Anda menyambungkannya kepada model dengan `dspy.LM`. Dokumentasi DSPy menunjukkan pelayan serasi OpenAI sebagai model `openai/` dengan `api_base`. Untuk BroadNet Inference, yang menyediakan chat completions di `https://inference.broadnet.ai/v1`, anda juga memerlukan `model_type="chat"`. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi DSPy untuk versi 3.5.

## Pasang

```bash
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
```

## Sambung

```python
import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
```

-   **`openai/`** memberitahu DSPy untuk menggunakan klien OpenAI-nya. Selebihnya rentetan itu, `broadnet/glm-5.3`, ialah ID model yang dihantar ke BroadNet.
-   **`model_type="chat"`** mengekalkan DSPy pada `/v1/chat/completions`. Rujukan LM DSPy menyatakan lalai `'auto'` membuatkan model OpenAI “use Responses” (Terjemahan: menggunakan Responses).
-   **`max_tokens`** memberi ruang untuk penaakulan. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B berfikir sebelum menjawab, dan pemikiran itu dikira dalam had.

## Apa yang berlaku tanpa model\_type

Contoh di halaman pemasangan DSPy untuk pelayan serasi OpenAI tidak menyertakan `model_type`. Dalam ujian kami dengan DSPy 3.5.0, permintaan dihantar ke `/v1/responses` dengan `max_output_tokens`, dan panggilan itu gagal:

```text
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
```

Ralat itu datang daripada pelayan olok-olok (mock) kami. Endpoint langsung BroadNet juga menjawab `/v1/responses` dengan 404 apabila kami menyemaknya pada 2026-11-16. Menambah `model_type="chat"` membetulkannya.

## Modul dan model

```python
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
```

| Kegunaan DSPy | Model |
| --- | --- |
| `Predict`, `ChainOfThought`, larian pengoptimum | `broadnet/deepseek-v4.1-flash` (harga per token rendah; pelan harga tetap) |
| `ReAct` dan modul lain yang memanggil tools | `broadnet/glm-5.3` atau `broadnet/qwen3.8-27b` |
| Mencuba DSPy dengan kredit permulaan | `broadnet/gemma-4-26b-a4b` (konteks 32,768 token) |

Dokumentasi BroadNet menyenaraikan tools dan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B sahaja. Anda boleh menggunakan satu model untuk program dan satu lagi untuk pengoptimum, masing-masing dengan `dspy.LM` sendiri. [Harga setiap model](https://broadrouter.com/ms/pricing/).

## Cara kami mengujinya

Pada 2026-11-15, kami memasang dspy 3.5.0 dalam persekitaran maya yang bersih dan menjalankan `dspy.Predict` terhadap pelayan olok-olok setempat yang menggunakan bentuk chat-completions BroadNet dan menjawab `/v1/responses` dengan 404. Tanpa `model_type`, DSPy memanggil `/v1/responses` dan gagal. Dengan `model_type="chat"`, ia memanggil `/v1/chat/completions` dengan ID model `broadnet/glm-5.3` dan kunci Bearer, lalu menghurai medan jawapan. Kami mendapati DSPy menghantar had output sebagai `max_completion_tokens`. Rujukan API BroadNet menerangkan `max_tokens` dan tidak menyebut `max_completion_tokens`, jadi kami tidak dapat mengesahkan bahawa BroadNet mengenakan had yang dihantar dengan cara itu. Kami menguji terhadap pelayan olok-olok, bukan dengan kunci BroadNet, jadi kami tidak menyemak output model sebenar.

## Penyelesaian masalah

-   **404 pada /v1/responses.** Tambah `model_type="chat"`.
-   **404 pada /v1/chat/completions.** `api_base` mesti berakhir dengan `/v1`, dan rentetan model mesti `openai/` diikuti ID BroadNet penuh. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputi `broadnet/gemma-4-26b-a4b` dan dua model Transcribe.
-   **“Expected to find output fields”.** Jawapan kosong atau terpotong, selalunya kerana penaakulan telah menghabiskan bajet output. Naikkan `max_tokens`. [Mengapa jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/).
-   **429 semasa pengoptimuman.** Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Kurangkan bilangan thread pengoptimum dan lihat [ralat dan cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/).

## Istilah dalam panduan ini

[Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/)

Bayar ikut guna ialah model harga di mana anda hanya membayar apa yang anda guna, dimeter mengikut unit seperti token, permintaan atau minit audio, tanpa langganan atau komitmen minimum. Kebanyakan API LLM mengebil dengan cara ini, daripada baki prabayar atau invois berkala.

[Chat Completions API](https://broadrouter.com/ms/glossary/chat-completions-api/)

Chat Completions API ialah endpoint HTTP OpenAI, POST /v1/chat/completions, yang menerima nama model dan senarai mesej bertanda peranan, lalu memulangkan mesej seterusnya daripada model. Bentuk permintaan dan responsnya menjadi format biasa yang digunakan semula oleh penyedia dan SDK yang serasi OpenAI.

[Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/)

Keserentakan ialah bilangan permintaan yang sedang berjalan serentak daripada satu klien. API LLM sering mengehadkannya bagi setiap kunci atau pelan, berasingan daripada permintaan seminit, kerana setiap permintaan yang terbuka memegang kapasiti GPU sehingga responsnya selesai.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Tool calling (panggilan alatan)](https://broadrouter.com/ms/glossary/tool-calling/)

Tool calling, juga dipanggil function calling, ialah ciri API LLM di mana model memulangkan permintaan berstruktur untuk menjalankan fungsi yang ditakrifkan oleh pembangun, bersama argumen JSON. Aplikasi menjalankan fungsi itu dan menghantar hasilnya kembali; model sendiri tidak pernah menjalankan kod.

[Had kadar (rate limit)](https://broadrouter.com/ms/glossary/rate-limit/)

Had kadar ialah had yang ditetapkan oleh API ke atas jumlah penggunaan klien dalam satu tempoh masa, seperti permintaan seminit atau token seminit. Permintaan yang melebihi had ditolak, biasanya dengan HTTP 429 Too Many Requests, sehingga penggunaan turun semula di bawahnya.

[Kredit prabayar (prepaid credit)](https://broadrouter.com/ms/glossary/prepaid-credit/)

Kredit prabayar ialah wang yang ditambah ke akaun API sebelum digunakan. Setiap permintaan menolak kosnya daripada baki, dan apabila baki habis, permintaan bermeter berhenti sehingga anda menambah nilai. Ia mengehadkan perbelanjaan kepada jumlah yang telah anda bayar.

[max\_tokens](https://broadrouter.com/ms/glossary/max-tokens/)

max\_tokens ialah parameter API LLM yang menetapkan bilangan maksimum token yang boleh dijana oleh model dalam satu respons. Apabila had itu dicapai, penjanaan berhenti dan respons ditandakan sebagai terpotong, contohnya dengan finish\_reason ditetapkan kepada "length".

## Soalan lazim

### Mengapakah DSPy memanggil /v1/responses pada BroadNet?

Rujukan dspy.LM dalam DSPy 3.5 menyatakan model\_type 'auto', iaitu lalai, membuatkan model OpenAI menggunakan Responses API. Model openai/ dengan api\_base tersuai dilayan dengan cara yang sama. Hantar model\_type="chat" untuk menggunakan chat completions, iaitu apa yang disediakan oleh BroadNet.

### Bagaimanakah saya menulis ID model BroadNet dalam DSPy?

Letakkan openai/ di hadapan ID BroadNet, contohnya openai/broadnet/glm-5.3. DSPy menggunakan openai/ untuk memilih klien dan, dalam ujian kami, menghantar broadnet/glm-5.3 sebagai model.

### Model BroadNet manakah yang sesuai untuk pengoptimum DSPy?

Pengoptimum membuat banyak panggilan, jadi kos dan had kadar penting. DeepSeek V4.1 Flash mempunyai harga per token yang rendah dan merupakan model pada pelan harga tetap BroadNet, yang tidak dimeter mengikut token. Gunakan GLM 5.3 atau Qwen3.8 27B untuk modul yang memanggil tools, seperti ReAct.

### Adakah cache DSPy memberi kesan dengan BroadNet?

DSPy menyimpan panggilan LM dalam cache secara lalai (cache=True), jadi mengulang panggilan yang sama tidak dikenakan kos. Tetapkan cache=False semasa anda menyemak sambungan, atau anda mungkin melihat jawapan daripada cache.

## Panduan berkaitan

-   [Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)
-   [Halakan LiteLLM ke BroadNet Inference (SDK dan proksi)](https://broadrouter.com/ms/guides/litellm-proxy-custom-provider/)
-   [Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)
-   [Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/)
-   [Semua alat yang berfungsi dengan BroadNet Inference (Bahasa Inggeris)](https://broadrouter.com/integrations/): SDK, ejen pengekodan, antara muka sembang dan alat automasi, dengan tetapan tepat bagi setiap satu

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-guides-dspy-openai-compatible&utm_content=page-cta) ·

**Sumber**

-   [Dokumentasi DSPy, pemasangan dan persediaan model bahasa (halaman bertarikh 2026-11-10, disemak 2026-11-15)](https://dspy.ai/current/getting-started/installation/)
-   [Dokumentasi DSPy, rujukan API dspy.LM (model\_type) (disemak 2026-11-15)](https://dspy.ai/current/api/models/LM/)
-   [PyPI, dspy 3.5.0 (disemak 2026-11-15)](https://pypi.org/project/dspy/)
-   [Rujukan API BroadNet Inference (disemak 2026-11-16) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-guides-dspy-openai-compatible&utm_content=sources)
