BroadRouter
Mulakan

Teks, ucapan atau penglihatan? Mulakan dengan tugas

Oleh pasukan BroadNet Inference · 7 minit bacaan · Diterbitkan

Mulakan daripada input dan output anda. Teks masuk, teks keluar ialah chat. Foto atau imbasan masuk, teks keluar ialah chat dengan imej, pada model yang menerima imej. Ucapan yang dirakam masuk, teks keluar ialah transkripsi; ucapan kepada jawapan ialah transkripsi kemudian chat. BroadNet tidak menawarkan text-to-speech, penjanaan imej atau embeddings.

“Model mana yang patut kita gunakan?” ialah soalan kedua. Yang pertama ialah “apa yang masuk, dan apa yang mesti keluar?” Foto invois, nota suara daripada pelanggan dan soalan yang ditaip masing-masing pergi ke jenis endpoint yang berbeza, dan setiap endpoint ada model, had dan cara gagal tersendiri. Pilih tugas dahulu dan senarai model akan mengecil kepada dua atau tiga.

Panduan ini memetakan tugas lazim kepada jenis input, kemudian kepada apa yang didokumenkan BroadNet Inference untuk setiap satu. BroadRouter ialah laman web BroadNet sendiri; fakta model di bawah datang daripada suapan harga dan rujukan API BroadNet, disemak pada 15 November 2026.

Jenis input manakah yang diperlukan tugas anda?

Tugas anda Input Output Endpoint Model BroadNet
Menjawab, meringkas, mengelas atau menterjemah teks Teks Teks Chat completions Mana-mana daripada empat model chat
Memanggil fungsi atau alat anda sendiri Teks Panggilan alat Chat completions GLM 5.3, Qwen3.8 27B (didokumenkan)
Membaca foto, imbasan, tangkapan skrin atau borang Imej + teks Teks atau JSON Chat completions dengan imej DeepSeek V4.1 Flash, Qwen3.8 27B, Gemma 4 VL 26B
Menukar rakaman atau nota suara kepada teks Fail audio Teks Audio transcriptions Transcribe Arabic, Transcribe (14 bahasa)
Meringkaskan panggilan atau menjawab nota suara Fail audio Teks Transkripsi, kemudian chat Satu daripada setiap satu
Menuturkan jawapan dengan suara Teks Audio Text-to-speech Tidak ditawarkan
Perbualan suara langsung Strim audio Audio Suara masa nyata Tidak ditawarkan
Mencipta imej Teks Imej Penjanaan imej Tidak ditawarkan
Carian semantik atas dokumen Teks Vektor Embeddings Tidak ditawarkan

“Penglihatan” (vision) dalam jadual ini bermaksud pemahaman imej: model membaca imej yang anda hantar. Ia tidak bermaksud menjana imej. Entri glosari vision language model menerangkan perbezaannya.

Apakah perbezaan antara chat dan transkripsi?

Kedua-duanya endpoint berbeza dengan bentuk permintaan, unit pengebilan dan model yang berbeza.

Chat (POST /v1/chat/completions) menerima senarai mesej sebagai JSON dan memulangkan teks. Ia dibilkan setiap token, input dan output secara berasingan, dan setiap model ada tetingkap konteks yang memuatkan prompt dan jawapan bersama. Di BroadNet, tiga daripada empat model chat membuat penaakulan sebelum menjawab, dan penaakulan itu dikira dalam max_tokens, jadi tinggalkan ruang (token penaakulan dan jawapan kosong).

Transkripsi (POST /v1/audio/transcriptions) menerima fail audio sebagai muat naik multipart dan memulangkan transkrip. Ia dibilkan setiap minit audio. Dokumentasi BroadNet menetapkan WAV atau MP3 sehingga 26,214,400 bait setiap fail, dan menyatakan supaya sentiasa menghantar language, kerana jika tidak, bahasa Arab boleh dipulangkan dalam bentuk transliterasi huruf Rumi.

Model Bahasa Harga
BroadNet Transcribe Arabic Bahasa Arab: Teluk, Mesir, Levant, Maghribi dan Arab Standard Moden, menurut BroadNet $0.0042 seminit (kira-kira $0.25 sejam)
BroadNet Transcribe 14, termasuk Inggeris, Sepanyol, Perancis, Mandarin dan Arab $0.002 seminit (kira-kira $0.12 sejam)

Model chat di BroadNet tidak menerima audio, dan model transkripsi tidak menjawab soalan. Pembantu suara yang membalas dalam teks ialah dua panggilan: transkripsi, kemudian chat. Minit mesyuarat bahasa Arab daripada rakaman membina rantaian itu dengan tepat.

Model manakah yang menerima imej?

Model yang entri suapannya menyenaraikan image dalam modalities. Pada 15 November 2026:

Model Input Konteks Input / output setiap 1M token Akses
DeepSeek V4.1 Flash Teks, imej 1,048,576 $0.175 / $0.52 Perlu tambah nilai
Qwen3.8 27B Teks, imej 262,144 $0.175 / $2.17 Perlu tambah nilai
Gemma 4 VL 26B Teks, imej 32,768 $0.10 / $0.22 Kredit permulaan $5
GLM 5.3 Teks sahaja 1,048,576 $0.78 / $3.46 Perlu tambah nilai

Hantar imej sebagai URL data: di dalam kandungan mesej, dengan jenis MIME yang tepat. Dokumentasi BroadNet menyatakan penglihatan ditawarkan “only where the model row explicitly says images or vision” (Terjemahan: hanya apabila baris model menyatakan imej atau penglihatan secara eksplisit). Dokumentasi tidak menyenaraikan format imej yang diterima, jadi uji setiap format yang anda rancang untuk terima. Pada kunci bayar ikut guna, imej dibilkan sebagai token input, dan imej yang lebih besar menggunakan lebih banyak; ubah saiz sebelum menghantar dan anggarkan dengan kalkulator token imej. Pengekstrakan dokumen dari hujung ke hujung ada dalam mengekstrak data daripada dokumen dengan LLM penglihatan.

Bagaimanakah anda menghalakan setiap input dalam kod?

Fungsi ini memilih endpoint berdasarkan jenis fail, menyemak had yang didokumenkan sebelum menghantar, dan membaca senarai model yang menerima imej daripada suapan langsung dan bukannya mengekodkannya secara keras. Ia menggunakan OpenAI Python SDK, yang berfungsi dengan BroadNet selepas menukar base URL (panduan persediaan).

import base64, json, mimetypes, os, urllib.request
from pathlib import Path
from openai import OpenAI

client = OpenAI(base_url=os.environ.get("BROADNET_BASE_URL", "https://inference.broadnet.ai/v1"),
                api_key=os.environ["BROADNET_API_KEY"])
feed = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json", timeout=30))
live = [m for m in feed["models"] if m.get("status", "live") == "live"]
VISION = {m["id"] for m in live if "image" in m.get("modalities", [])}
AUDIO_TYPES = {"audio/wav", "audio/x-wav", "audio/mpeg"}       # WAV or MP3, per the docs
AUDIO_MAX = 26_214_400                                         # bytes per file, per the docs
IMAGE_TYPES = {"image/jpeg", "image/png", "image/webp"}        # your allow-list; test each one

def run(task: str, path: str | None = None, *, chat_model="broadnet/gemma-4-26b-a4b",
        stt_model="broadnet/cohere-transcribe-arabic", language="ar") -> str:
    kind = mimetypes.guess_type(path)[0] if path else None
    if kind is None:                                           # text only
        r = client.chat.completions.create(model=chat_model, max_tokens=1500,
                                           messages=[{"role": "user", "content": task}])
        return r.choices[0].message.content
    if kind in AUDIO_TYPES or kind.startswith("audio/"):
        if kind not in AUDIO_TYPES:
            raise ValueError(f"{kind}: convert first, e.g. ffmpeg -i in.ogg -ar 16000 -ac 1 out.wav")
        if Path(path).stat().st_size > AUDIO_MAX:
            raise ValueError("over 26,214,400 bytes: split the audio before sending")
        with open(path, "rb") as f:                            # step 1: speech to text
            text = client.audio.transcriptions.create(model=stt_model, file=f, language=language).text
        return run(f"{task}\n\nTranscript:\n{text}", chat_model=chat_model) if task else text
    if kind in IMAGE_TYPES:
        if chat_model not in VISION:
            raise ValueError(f"{chat_model} takes no images here; pick one of {sorted(VISION)}")
        data = base64.b64encode(Path(path).read_bytes()).decode()
        r = client.chat.completions.create(model=chat_model, max_tokens=1500, messages=[{"role": "user",
            "content": [{"type": "text", "text": task},
                        {"type": "image_url", "image_url": {"url": f"data:{kind};base64,{data}"}}]}])
        return r.choices[0].message.content
    raise ValueError(f"unsupported input type {kind}")

Kami mengujinya dengan BROADNET_BASE_URL dihalakan ke pelayan olok-olok tempatan (tiada panggilan API langsung) dan suapan harga langsung. Teks, fail WAV, fail WAV dengan tugas susulan, dan PNG masing-masing sampai ke endpoint olok-olok yang betul. Menghantar PNG dengan chat_model="broadnet/glm-5.3" ditolak sebelum sebarang permintaan, dengan menyenaraikan tiga ID yang menerima imej daripada suapan. Fail .ogg ditolak bersama arahan ffmpeg untuk menukarnya; mentranskripsi nota suara WhatsApp membincangkan langkah itu. Rakaman yang melebihi had saiz perlu dipecahkan; pemecah audio membina arahan ffmpeg.

Bagaimana jika dokumen itu sudah berbentuk teks?

Maka jangan hantar gambarnya. PDF yang dieksport daripada sistem perakaunan atau pemproses perkataan biasanya ada lapisan teks; ekstraknya dengan pustaka PDF dan hantar teks ke model chat. Itu lebih murah daripada imej pada kunci bayar ikut guna, mengelakkan salah baca, dan berfungsi pada GLM 5.3 juga. Simpan penglihatan untuk imbasan, foto telefon, tulisan tangan, cop dan tangkapan skrin, yang tiada lapisan teks untuk diekstrak.

Peraturan berguna dalam saluran dokumen: cuba pengekstrakan teks dahulu, semak sama ada ia memulangkan teks sebenar (bukan halaman kosong atau aksara bercelaru), dan beralih ke imej hanya jika tidak. Untuk PDF bahasa Arab, baca sampel teks yang diekstrak sebelum mempercayainya: bergantung pada cara PDF itu dihasilkan, pengekstrakan boleh memulangkan huruf Arab dalam susunan yang salah atau dalam bentuk persembahan yang tidak bersambung. OCR bahasa Arab dengan LLM penglihatan membincangkan kes yang imejnya sumber yang lebih baik.

Bagaimanakah kosnya dibandingkan?

Setiap jenis input dibilkan dalam unitnya sendiri, jadi bandingkan setiap tugas, bukan setiap permintaan:

  • Teks dibilkan setiap token input dan output. Bahasa Arab selalunya memerlukan lebih banyak token berbanding bahasa Inggeris untuk kandungan yang sama; pengira token bahasa Arab mengukurnya.
  • Imej pada bayar ikut guna ialah token input pada harga input model, jadi foto besar boleh berkos lebih daripada satu halaman teks. Pada pelan sesi DeepSeek, imej termasuk dalam harga tetap.
  • Audio dibilkan setiap minit audio, apa pun yang dikatakan. Di BroadNet, 10,000 nota suara bahasa Arab masing-masing 30 saat berjumlah kira-kira $21.00 dengan model bahasa Arab. Kalkulator kos speech-to-text mengira volum lain.

Rantaian menjumlahkan bahagiannya: nota suara yang dijawab model chat berkos minit transkripsi ditambah token chat bagi transkrip dan jawapan. Kalkulator kos API LLM mengendalikan bahagian chat.

Apakah yang tidak ditawarkan, dan apa yang patut anda lakukan?

Rujukan API BroadNet mendokumenkan dua endpoint inferens: chat completions dan audio transcriptions. Jadi tiada:

  • Text-to-speech. Tiada /v1/audio/speech. Jika produk anda mesti bercakap kembali, gandingkan transkripsi dan chat BroadNet dengan perkhidmatan TTS berasingan.
  • Suara langsung. Transkripsi menerima fail yang dimuat naik, bukan strim audio langsung. Untuk ejen telefon yang mesti membalas di tengah panggilan, anda memerlukan tindanan suara masa nyata di tempat lain. Merakam audio pelayar untuk transkripsi menunjukkan alternatif berasaskan fail.
  • Penjanaan imej. Penglihatan di sini membaca imej; ia tidak menciptanya.
  • Embeddings. Tiada /v1/embeddings. Untuk retrieval, anda memerlukan model embedding daripada penyedia lain atau dihoskan sendiri; kalkulator kos embedding membandingkan harga.

Katalog penyelidikan BroadNet memang menyenaraikan model text-to-speech, penjanaan imej dan embedding, ditanda sebagai ditanda aras dalam makmalnya. Itu merekodkan apa yang diuji BroadNet, bukan apa yang dijual APInya; membaca katalog model menerangkan perbezaannya.

Mengapakah anda memerlukan set penilaian berasingan untuk setiap input?

Kerana setiap jenis input gagal dengan cara berbeza, dan purata merentas semuanya menyembunyikan kegagalan itu.

  • Teks: beri skor pada mesej pengguna sebenar, dengan semakan kod jika boleh. Kaedahnya ada dalam menilai LLM sebelum bertukar.
  • Imej: gunakan foto sebenar pada kualiti sebenar: gambar telefon yang senget, resit pudar, cop di atas teks. Beri skor setiap medan secara berasingan. Render PDF yang bersih mendapat skor jauh lebih tinggi daripada foto yang akan dihantar pengguna anda.
  • Ucapan: ukur kadar ralat perkataan pada rakaman anda sendiri, dipecahkan mengikut dialek, penutur dan kualiti talian, dan semak perkataan yang penting (nama, nombor, amaun) secara berasingan. Lihat WER ASR bahasa Arab diterangkan.
  • Rantaian: apabila ucapan menyuap model chat, beri skor kedua-dua langkah dan hasil akhir. Nombor yang tersalah dengar menjadi jawapan salah yang yakin, dan hanya ujian hujung ke hujung menunjukkan sekerap mana.

Asingkan set itu, berikan versi, dan jalankan semula yang berkaitan setiap kali anda menukar model atau prompt.

Di manakah BroadNet Inference sesuai

BroadNet Inference meliputi lima baris pertama jadual tugas dengan satu kunci dan satu base URL: chat teks, panggilan alat pada GLM 5.3 dan Qwen3.8 27B, pemahaman imej pada tiga model, dan transkripsi bahasa Arab atau berbilang bahasa. Gemma 4 VL 26B dan kedua-dua model transkripsi berjalan dengan kredit permulaan $5; DeepSeek, GLM dan Qwen memerlukan tambah nilai. Kandungan inferens tidak disimpan; metadata akaun, pengebilan dan keselamatan yang perlu disimpan seperti yang diterangkan dalam pernyataan privasi BroadNet. Untuk pertuturan, penjanaan imej, suara langsung atau embeddings, gunakan perkhidmatan lain. Harga untuk semua di atas ada di halaman harga.

Soalan lazim

Model AI manakah yang patut saya gunakan untuk imej?

Model yang menerima input imej pada API yang anda gunakan. Di BroadNet Inference, itu ialah DeepSeek V4.1 Flash, Qwen3.8 27B atau Gemma 4 VL 26B, menurut suapan harganya; GLM 5.3 menerima teks sahaja. Hantar imej sebagai data URL dalam mesej chat.

Bolehkah model chat mentranskripsi audio?

Tidak di BroadNet Inference. Audio dihantar ke endpoint transkripsi, /v1/audio/transcriptions, dengan model transkripsi. Jika anda kemudian memerlukan ringkasan atau jawapan, hantar transkrip ke model chat sebagai langkah kedua.

Adakah BroadNet Inference menawarkan text-to-speech atau penjanaan imej?

Tidak. Rujukan APInya hanya mendokumenkan chat completions dan transkripsi audio. Model text-to-speech dan penjanaan imej muncul dalam katalog penyelidikan BroadNet sebagai ditanda aras, yang tidak sama dengan ditawarkan.

Format audio apakah yang diterima BroadNet?

WAV (audio/wav) atau MP3 (audio/mpeg), sehingga 26,214,400 bait setiap fail. Tukar format lain, seperti nota suara WhatsApp .ogg, dengan ffmpeg dahulu, dan sentiasa hantar parameter language.

Bagaimanakah imej dibilkan?

Pada kunci bayar ikut guna, BroadNet membilkan imej sebagai token input pada harga input model, dan imej yang lebih besar menggunakan lebih banyak token. Pada pelan sesi DeepSeek, imej termasuk dalam harga tetap.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity