---
title: "Pydantic AI dengan base_url OpenAI-compatible kustom"
description: "Jalankan agen Pydantic AI di BroadNet Inference dengan OpenAIChatModel dan OpenAICompatibleProvider, plus tool call, output terstruktur, dan model profile."
url: https://broadrouter.com/id/guides/pydantic-ai-openai-compatible/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/guides/pydantic-ai-openai-compatible/) (diperbarui 2026-11-16).

# Pydantic AI dengan BroadNet Inference (OpenAICompatibleProvider)

Diperbarui 2026-11-16

Instal pydantic-ai-slim\[openai\], lalu buat OpenAIChatModel dengan ID model BroadNet seperti broadnet/glm-5.3 dan OpenAICompatibleProvider dengan base URL https://inference.broadnet.ai/v1 serta API key berisi kunci BroadNet Anda. Berikan model itu ke Agent. Gunakan OpenAIChatModel, bukan model Responses, karena BroadNet melayani chat completions. Menurut dokumentasi Pydantic AI, OpenAIProvider dengan base\_url ditujukan untuk OpenAI sendiri.

Pydantic AI adalah framework agen Python dari tim Pydantic. Untuk layanan yang belum punya provider bawaan, dokumentasinya menyarankan `OpenAICompatibleProvider` dengan `base_url` milik layanan itu. BroadNet Inference melayani chat completions standar di `https://inference.broadnet.ai/v1`, jadi itulah jalurnya. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi Pydantic AI per versi 2.68.

## Instalasi

```bash
pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'
```

## Menghubungkan

```python
import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider(
        'broadnet',
        base_url='https://inference.broadnet.ai/v1',
        api_key=os.environ['BROADNET_API_KEY'],
    ),
)

agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)
```

Menjalankan kode ini sudah jadi tesnya: jika jawaban tercetak, kunci, URL, dan ID model sudah benar.

-   **Argumen pertama adalah ID model** yang dikirim ke BroadNet. Tulis persis, lengkap dengan prefiks `broadnet/`.
-   **Nama provider** (di sini `'broadnet'`) dicatat di setiap respons. Dokumentasi Pydantic AI menyarankan agar nama ini tidak diubah-ubah, karena nama inilah yang menentukan data mana dari respons sebelumnya yang dikirim balik ke layanan.
-   **Tetap di `OpenAIChatModel`.** Menurut dokumentasi Pydantic AI, `OpenAIResponsesModel` hanya dipakai jika layanan mengimplementasikan Responses API. BroadNet tidak mencantumkannya.

## Tools dan output terstruktur

```python
from pydantic import BaseModel

class City(BaseModel):
    name: str
    country: str

agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)
```

Gunakan `broadnet/glm-5.3` atau `broadnet/qwen3.8-27b` untuk tools dan output terstruktur; dokumentasi BroadNet mencantumkan kedua fitur itu hanya untuk dua model ini.

## Kapan perlu mengatur model profile

Pydantic AI memilih profil permintaan berdasarkan nama model. Jika sebuah fitur diabaikan atau ditolak, dokumentasinya menyarankan Anda memberikan `OpenAIModelProfile` sendiri. Ada dua pengaturan yang perlu diketahui untuk BroadNet:

```python
from pydantic_ai.profiles.openai import OpenAIModelProfile

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
    profile=OpenAIModelProfile(
        openai_chat_supports_max_completion_tokens=False,  # send max_tokens, the field BroadNet documents
        openai_supports_strict_tool_definition=False,      # only if strict tool schemas are rejected
    ),
)
```

Berikan batas output lewat model settings, misalnya `agent.run_sync(prompt, model_settings={'max_tokens': 2000})`. Di DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B, penalaran ikut dihitung dalam batas itu.

## Model mana yang dipilih

| Agen | Model |
| --- | --- |
| Tools, output terstruktur | `broadnet/glm-5.3` |
| Gambar atau teks Arab, dengan tools | `broadnet/qwen3.8-27b` |
| Dokumen panjang, paket harga tetap | `broadnet/deepseek-v4.1-flash` |
| Kredit awal gratis | `broadnet/gemma-4-26b-a4b` (konteks 32.768 token) |

[Harga semua model](https://broadrouter.com/id/pricing/).

## Troubleshooting

-   **401.** Kunci salah, kedaluwarsa, atau jatahnya habis.
-   **404 atau model tidak ditemukan.** `base_url` harus diakhiri `/v1`. Periksa ID model. Model berbayar memerlukan top up; kredit $5 hanya mencakup `broadnet/gemma-4-26b-a4b`.
-   **Output kosong atau loop retry validasi.** Penalaran menghabiskan jatah output. Naikkan `max_tokens`. [Kenapa jawaban kembali kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/).
-   **400 pada definisi tool.** Atur `openai_supports_strict_tool_definition=False` di profile, dan gunakan model yang dicantumkan BroadNet dengan tools.
-   **429 saat menjalankan agen secara bersamaan.** Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Lihat [error dan percobaan ulang](https://broadrouter.com/id/guides/errors-and-retries/).

## Istilah dalam panduan ini

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Output terstruktur (structured output)](https://broadrouter.com/id/glossary/structured-output/)

Output terstruktur adalah fitur API LLM yang membatasi balasan model pada format yang ditentukan developer, biasanya JSON Schema, agar kode bisa mem-parse-nya dengan andal. Fitur ini lebih ketat daripada JSON mode, yang menjamin JSON valid tetapi tidak menjamin bentuk tertentu.

[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

[Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/)

Rate limit adalah batas yang diterapkan API pada seberapa banyak client boleh memakainya dalam rentang waktu tertentu, misalnya permintaan per menit atau token per menit. Permintaan yang melebihi batas ditolak, biasanya dengan HTTP 429 Too Many Requests, sampai pemakaian kembali di bawah batas.

[Chat Completions API](https://broadrouter.com/id/glossary/chat-completions-api/)

Chat Completions API adalah endpoint HTTP milik OpenAI, POST /v1/chat/completions, yang menerima nama model dan daftar pesan bertanda peran lalu mengembalikan pesan berikutnya dari model. Bentuk request dan response-nya menjadi format umum yang dipakai ulang oleh penyedia dan SDK yang kompatibel dengan OpenAI.

[Kredit prabayar (prepaid credit)](https://broadrouter.com/id/glossary/prepaid-credit/)

Kredit prabayar adalah uang yang diisi ke akun API sebelum dipakai. Setiap request memotong biayanya dari saldo, dan saat saldo habis, request berbayar per pemakaian berhenti sampai Anda melakukan top up. Dengan begitu, pengeluaran dibatasi sebesar uang yang sudah Anda setor.

[max\_tokens](https://broadrouter.com/id/glossary/max-tokens/)

max\_tokens adalah parameter API LLM yang menetapkan jumlah token maksimum yang boleh dihasilkan model dalam satu respons. Saat generasi mencapai batas itu, proses berhenti dan respons ditandai terpotong, misalnya dengan finish\_reason bernilai "length".

## Pertanyaan umum

### Untuk BroadNet, sebaiknya pakai OpenAIProvider atau OpenAICompatibleProvider?

OpenAICompatibleProvider. Menurut dokumentasi Pydantic AI, OpenAIProvider juga menerima base\_url, tetapi ditujukan untuk OpenAI sendiri atau proxy transparan ke OpenAI, dan mengasumsikan model serta fitur OpenAI.

### Kenapa memakai OpenAIChatModel dan bukan model OpenAI default?

Model OpenAI default di Pydantic AI memakai Responses API. BroadNet melayani chat completions di /v1/chat/completions, dan itulah yang dipanggil OpenAIChatModel.

### Apakah tools dan output terstruktur berfungsi?

Ya, pada model yang dicantumkan BroadNet dengan tools dan output terstruktur, yaitu GLM 5.3 dan Qwen3.8 27B. Dokumentasi BroadNet tidak mencantumkan tools untuk DeepSeek V4.1 Flash, jadi uji dulu agen yang memakai tools di model itu.

### Bagaimana menghentikan Pydantic AI mengirim max\_completion\_tokens?

Berikan profile=OpenAIModelProfile(openai\_chat\_supports\_max\_completion\_tokens=False) ke OpenAIChatModel. Pydantic AI lalu mengirim field max\_tokens yang lebih lama, yaitu field yang dijelaskan referensi API BroadNet.

## Panduan terkait

-   [Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)
-   [Memakai LangChain dengan BroadNet Inference](https://broadrouter.com/id/guides/langchain-openai-base-url/)
-   [CrewAI dengan BroadNet Inference sebagai endpoint OpenAI kustom](https://broadrouter.com/id/guides/crewai-custom-openai-endpoint/)
-   [Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)
-   [Semua alat yang bisa dipakai dengan BroadNet Inference (bahasa Inggris)](https://broadrouter.com/integrations/): SDK, agen coding, antarmuka chat, dan alat otomatisasi, lengkap dengan pengaturan persis untuk masing-masing

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-pydantic-ai-openai-compatible&utm_content=page-cta) ·

**Sumber**

-   [Dokumentasi Pydantic AI, Other compatible APIs (Other endpoints, Model profile) (diperiksa 2026-11-15)](https://pydantic.dev/docs/ai/models/compatible-apis/)
-   [Dokumentasi Pydantic AI, model OpenAI (diperiksa 2026-11-15)](https://pydantic.dev/docs/ai/models/openai/)
-   [PyPI, pydantic-ai 2.68.0, Python 3.11+ (diperiksa 2026-11-15)](https://pypi.org/project/pydantic-ai/)
-   [Referensi API BroadNet Inference (diperiksa 2026-11-15) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-pydantic-ai-openai-compatible&utm_content=sources)
