BroadRouter

Nota suara ke teks untuk perniagaan: WhatsApp dan Telegram ke tiket

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan · Dikemas kini

Untuk menukar nota suara pelanggan kepada tiket, muat turun setiap nota daripada WhatsApp Cloud API atau Telegram Bot API sebaik sahaja webhook tiba, tukar kepada WAV, transkripsi dengan kod bahasa yang betul, kemudian minta LLM mengekstrak niat, tahap kesegeraan dan nombor pesanan sebagai JSON. Cipta tiket dengan transkrip dilampirkan dan balas dalam teks.

An invoice, a phone showing an audio waveform and the Arabic word "مرحبا", with the text "Speech. Documents. Intelligence."

Di sebahagian besar Timur Tengah, pelanggan tidak menaip. Mereka menghantar nota suara 40 saat dalam bahasa Arab Teluk atau Mesir, selalunya dengan nombor pesanan dibaca di tengah-tengah. Ejen kemudian mendengar, memutar semula, dan menaipnya ke dalam helpdesk. Darabkan dengan beberapa ratus sehari dan nota suara menjadi saluran paling perlahan yang anda ada.

Catatan ini membina aliran kerja perniagaan di sekitar transkripsi: mengeluarkan nota daripada WhatsApp dan Telegram, menukarnya kepada tiket berstruktur, dan mengawal data. Untuk kod penukaran dan transkripsi itu sendiri, lihat panduan langkah demi langkah kami untuk mentranskripsi nota suara WhatsApp. Kami tidak akan mengulanginya di sini.

Bagaimanakah nota suara menjadi tiket sokongan?

  1. Terima webhook daripada WhatsApp atau Telegram.
  2. Muat turun audio dengan segera.
  3. Tukar kepada WAV mono 16 kHz.
  4. Transkripsi dengan kod bahasa yang betul.
  5. Ekstrak medan tiket dengan LLM.
  6. Cipta tiket, bersama transkrip, dan balas dalam teks.
  7. Padam fail audio.

Langkah 1 dan 2: bagaimanakah mengeluarkan audio daripada WhatsApp?

Pada WhatsApp Business Cloud API, nota suara masuk tiba sebagai webhook dengan ID media, bukan fail itu. Dokumentasi media Meta menetapkan peraturannya:

  • Panggil GET /<MEDIA_ID> pada Graph API untuk mendapatkan url.
  • Muat turun URL itu dengan Authorization: Bearer <token>. Tanpa token, permintaan gagal.
  • “Media URLs expire after 5 minutes.” (Terjemahan: URL media tamat tempoh selepas 5 minit.) Minta yang baharu jika anda terlambat.
  • ID media daripada webhook masuk sah selama 7 hari.
import os, requests

GRAPH = os.environ["GRAPH_BASE"]          # e.g. https://graph.facebook.com/<version>
HDR = {"Authorization": f"Bearer {os.environ['WA_TOKEN']}"}

def download_whatsapp(media_id, path):
    url = requests.get(f"{GRAPH}/{media_id}", headers=HDR, timeout=10).json()["url"]
    with open(path, "wb") as f:
        f.write(requests.get(url, headers=HDR, timeout=30).content)

Lakukan ini dalam tugas latar belakang pengendali webhook, bukan kemudian dalam kelompok. Baris gilir yang berjalan sejam sekali akan bertemu URL yang telah tamat tempoh.

Bagaimanakah mengeluarkan nota suara daripada bot Telegram?

Bot Telegram menerima objek voice dengan file_id. Bot API menyatakan bot “can download files of up to 20MB” (Terjemahan: boleh memuat turun fail sehingga 20MB), melalui https://api.telegram.org/file/bot<token>/<file_path>, dan pautan itu “valid for at least 1 hour” (Terjemahan: sah sekurang-kurangnya 1 jam).

TG = f"https://api.telegram.org/bot{os.environ['TG_TOKEN']}"

def download_telegram(file_id, path):
    file_path = requests.get(f"{TG}/getFile", params={"file_id": file_id}, timeout=10).json()["result"]["file_path"]
    with open(path, "wb") as f:
        f.write(requests.get(f"https://api.telegram.org/file/bot{os.environ['TG_TOKEN']}/{file_path}", timeout=30).content)

Secara praktiknya, kedua-dua platform menghantar nota suara Ogg/Opus. Endpoint transkripsi menerima WAV atau MP3, jadi tukar dengan arahan ffmpeg satu baris daripada panduan WhatsApp, kemudian transkripsi dengan language="ar" (atau bahasa pelanggan).

Langkah 5: bagaimanakah menukar transkrip kepada tiket?

Transkrip mentah masih sukar untuk ditriaj. LLM boleh mengeluarkan medan yang diperlukan helpdesk anda:

import json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

FIELDS = ("Return JSON with: intent (refund|delivery|billing|technical|other), urgency (low|normal|high), "
          "order_number (string or null), language, summary_en (one sentence), needs_human (true/false).")

def to_ticket(transcript):
    reply = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        response_format={"type": "json_object"},
        messages=[{"role": "system", "content": "You triage customer support voice notes. " + FIELDS},
                  {"role": "user", "content": transcript}],
    ).choices[0].message.content
    return json.loads(reply)

Qwen3.8 27B ialah model yang diuji BroadNet untuk bahasa Arab, termasuk dialek Teluk dan Mesir. Sahkan JSON sebelum anda menulisnya ke helpdesk, dan kembali kepada needs_human: true apabila penghuraian gagal; catatan output berstruktur mempunyai gelung sahkan-dan-baiki. Jika nota menyebut nombor kad atau ID, sunting (redact) sebelum langkah ini; lihat menghantar data sensitif ke API LLM.

Kes tepi manakah yang patut dikendalikan awal?

Peti masuk sebenar lebih bercelaru daripada demo. Rancang untuk perkara ini dari minggu pertama:

  • Beberapa nota berturut-turut. Pelanggan sering menghantar tiga nota pendek dan bukannya satu yang panjang. Kumpulkan nota daripada penghantar yang sama dalam tempoh beberapa minit ke dalam satu tiket, dan transkripsikannya mengikut urutan.
  • Nota yang sangat pendek. Nota “Okay” atau “thanks” tidak memerlukan tiket. Langkau pengekstrakan apabila transkrip kurang daripada beberapa perkataan.
  • Nota yang dimajukan. Nota suara yang dimajukan mungkin suara orang lain. Anggap ia sebagai lampiran, bukan kata-kata pelanggan sendiri.
  • Bahasa bercampur. Pelanggan Teluk mencampurkan nama produk bahasa Inggeris. Jika baris gilir anda melayani beberapa bahasa, rekodkan bahasa yang anda hantar bersama setiap transkrip supaya ejen tahu apa yang dijangka.
  • Fail besar. Dokumentasi media Meta menyenaraikan had audio 16 MB dan bot Telegram boleh memuat turun sehingga 20 MB, kedua-duanya di bawah had transkripsi 25 MiB, tetapi rakaman panjang masih mengambil masa lebih lama. Proses di latar belakang.

Apa yang pasukan dapat daripadanya

Sebelum Selepas
Ejen mendengar setiap nota, selalunya dua kali Ejen membaca transkrip dan ringkasan satu baris
Nota tidak boleh dicari Transkrip boleh dicari mengikut nombor pesanan atau kata kunci
Triaj oleh sesiapa yang lapang Penghalaan mengikut niat dan tahap kesegeraan
Nota bahasa Arab menunggu penutur bahasa Arab Ringkasan bahasa Inggeris membolehkan mana-mana ejen mengendalikan kes mudah

Berapakah kos transkripsi nota suara?

Transkripsi ialah bahagian murah dalam saluran paip ini. Pada $0.0042 seminit, 10,000 nota suara bahasa Arab berdurasi 30 saat berkos $21.00. Model 14 bahasa berkos $0.002 seminit. Langkah LLM dikenakan harga setiap token; transkrip pendek ditambah arahan biasanya beberapa ratus token. Masukkan jumlah anda sendiri ke dalam kalkulator kos speech-to-text, atau bandingkan penyedia lain dalam perbandingan harga speech-to-text.

Bagaimanakah mengendalikan privasi dan penyimpanan?

Nota suara ialah data peribadi, dan selalunya mengandungi lebih daripada yang ingin dikongsi pelanggan. Tiga amalan membantu:

  • Padam audio selepas transkripsi melainkan dasar mewajibkan anda menyimpannya.
  • Simpan transkrip bersama tiket, di bawah kawalan akses helpdesk, bukan dalam log aplikasi.
  • Gunakan penyedia yang tidak menyimpan audio. BroadNet tidak menyimpan audio atau transkrip selepas permintaan; lihat pengekalan data sifar.

Balas dalam teks biasa, dan pastikan balasan pertama kepada kenalan baharu ringkas dan tanpa pautan. Platform pemesejan memantau corak seperti spam daripada nombor perniagaan.

Di mana BroadNet Inference sesuai

BroadNet meliputi langkah transkripsi dan pengekstrakan dengan satu kunci yang serasi OpenAI: BroadNet Transcribe Arabic untuk nota bahasa Arab, BroadNet Transcribe untuk bahasa Arab serta 13 bahasa lain, dan model chat yang diuji dalam bahasa Arab untuk medan tiket. BroadNet melaporkan model bahasa Arabnya #2 daripada 37 (angka September 2026; papan kedudukan langsung menyenaraikannya di #4 daripada 39 pada 15 November 2026) di Open Universal Arabic ASR Leaderboard. Kredit permulaan $5 meliputi kira-kira 1,190 minit audio bahasa Arab.

BroadNet tidak menyambung ke WhatsApp, Telegram atau helpdesk anda bagi pihak anda; pengendalian webhook dan penciptaan tiket ialah kod anda atau alat automasi anda. Panggilan telefon ialah masalah yang berbeza bentuknya, dengan dua penutur dan rakaman panjang: lihat mentranskripsi rakaman pusat panggilan.

Soalan lazim

Bolehkah saya mentranskripsi nota suara WhatsApp secara automatik?

Ya. Dengan WhatsApp Business Cloud API, setiap nota suara tiba sebagai webhook dengan ID media. Pelayan anda mendapatkan URL media, memuat turun fail dengan token akses anda, menukarnya dan menghantarnya ke API transkripsi.

Bagaimanakah saya menukar mesej suara Telegram kepada teks?

Bot anda menerima objek voice dengan file_id. Panggil getFile, muat turun fail daripada laluan yang dipulangkan, tukar kepada WAV dengan ffmpeg dan transkripsikannya. Bot boleh memuat turun fail sehingga 20 MB.

Berapakah kos mentranskripsi nota suara pelanggan?

Dengan BroadNet Transcribe Arabic pada $0.0042 seminit, 10,000 nota berdurasi 30 saat berkos $21.00. Model 14 bahasa berkos $0.002 seminit.

Patutkah saya membalas nota suara dengan nota suara?

Biasanya balasan teks yang ringkas lebih berkesan untuk sokongan: pelanggan boleh membacanya di mana-mana dan ia boleh dicari di kedua-dua pihak. Pastikan balasan pertama ringkas dan biasa.

Perlukah saya menyimpan audio asal?

Selalunya tidak. Transkrip sudah mencukupi untuk kebanyakan aliran kerja sokongan. Jika anda menyimpan audio atas sebab kualiti atau undang-undang, tetapkan tempoh penyimpanan dan hadkan akses, kerana suara ialah data peribadi.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity