Pusat panggilan menghasilkan beribu-ribu jam audio sebulan, dan hampir semuanya tidak dibaca. Transkrip menjadikan panggilan boleh dicari. Ringkasan menjadikannya boleh disemak. Catatan ini membina saluran itu dari hujung ke hujung, dengan sudut bahasa Arab: dialek, campuran bahasa Arab dan Inggeris, dan digit Arab Timur.
Langkah-langkahnya:
- Periksa rakaman: stereo atau mono?
- Pisahkan stereo kepada saluran ejen dan pelanggan.
- Potong setiap saluran kepada giliran ucapan.
- Transkripsi setiap giliran dengan bahasa yang betul.
- Gabungkan giliran menjadi dialog mengikut masa mula.
- Sunting PII daripada teks.
- Ringkaskan dengan LLM kepada medan berstruktur.
Langkah 1: adakah rakaman itu stereo atau mono?
ffprobe -v error -show_entries stream=channels,sample_rate,duration -of csv=p=0 call.wav
# 2,8000,412.6 -> stereo, 8 kHz telephone audio, 6.9 minutes
Banyak perakam pusat hubungan menyimpan ejen pada satu saluran dan pelanggan pada saluran lain. Panduan pusat hubungan AssemblyAI menyatakan perkara yang sama: dengan saluran berasingan, anda mendapat pemisahan penutur tanpa diarization. Semak sebelah mana milik siapa pada beberapa panggilan; ejen tidak selalu di sebelah kiri.
Langkah 2: bagaimanakah anda memisahkan saluran stereo dengan ffmpeg?
ffmpeg -i call.wav -af "pan=mono|c0=c0" -ar 16000 agent.wav
ffmpeg -i call.wav -af "pan=mono|c0=c1" -ar 16000 customer.wav
Penapis pan mengekalkan satu saluran, dan -ar 16000 mensampel semula kepada 16 kHz, format yang digunakan dokumentasi BroadNet untuk rakaman telefon.
Langkah 3: bagaimanakah anda memotong setiap saluran kepada giliran ucapan?
Ini bentuk ringkas pengesanan aktiviti suara. Menghantar setiap saluran penuh berfungsi, tetapi anda membayar setiap saat senyap semasa pihak lain bercakap, yang lebih kurang menggandakan bil panggilan stereo. Ia juga kehilangan susunan giliran. Memotong pada senyap membaiki kedua-duanya:
import re, subprocess
def speech_turns(wav, noise="-35dB", min_silence=0.6):
"""Return (start, end) seconds of speech, using ffmpeg silencedetect."""
log = subprocess.run(
["ffmpeg", "-i", wav, "-af", f"silencedetect=noise={noise}:d={min_silence}", "-f", "null", "-"],
capture_output=True, text=True).stderr
dur = float(subprocess.run(
["ffprobe", "-v", "error", "-show_entries", "format=duration", "-of", "csv=p=0", wav],
capture_output=True, text=True).stdout)
starts = [float(x) for x in re.findall(r"silence_start: ([\d.]+)", log)]
ends = [float(x) for x in re.findall(r"silence_end: ([\d.]+)", log)]
turns, cursor = [], 0.0
for s, e in zip(starts, ends + [dur]):
if s - cursor > 0.4:
turns.append((cursor, s))
cursor = e
if dur - cursor > 0.4:
turns.append((cursor, dur))
return turns
Laraskan noise pada rakaman anda sendiri: talian yang bising memerlukan ambang lebih tinggi seperti -30dB.
Langkah 4: bagaimanakah anda mentranskripsi setiap giliran?
import os, tempfile
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def transcribe_turns(wav, speaker, language="ar"):
out = []
for start, end in speech_turns(wav):
with tempfile.NamedTemporaryFile(suffix=".wav") as seg:
subprocess.run(["ffmpeg", "-y", "-loglevel", "error", "-i", wav,
"-ss", f"{start:.2f}", "-to", f"{end:.2f}", seg.name], check=True)
with open(seg.name, "rb") as audio:
text = client.audio.transcriptions.create(
model="broadnet/cohere-transcribe-arabic", file=audio, language=language).text
out.append({"start": start, "speaker": speaker, "text": text.strip()})
return out
Sentiasa hantar language. Tanpanya, bahasa Arab boleh dipulangkan dalam huruf Rumi. Untuk baris gilir bahasa Inggeris, gunakan broadnet/cohere-transcribe dengan language="en". Kekalkan kumpulan pekerja yang kecil: kunci bayar ikut guna membenarkan 4 permintaan serentak dan 30 seminit, dan panduan ralat dan cubaan semula menunjukkan cara backoff pada 429.
Fail tunggal mesti kekal di bawah 25 MiB. Monolog panjang dalam WAV mono 16 kHz (kira-kira 32 KB sesaat) melepasi had itu pada sekitar 13 minit; pecahkannya dengan -f segment -segment_time 600.
Langkah 5: bagaimanakah anda menggabungkan giliran menjadi dialog?
turns = transcribe_turns("agent.wav", "Agent") + transcribe_turns("customer.wav", "Customer")
dialogue = "\n".join(f'{t["speaker"]}: {t["text"]}' for t in sorted(turns, key=lambda t: t["start"]))
Ucapan bertindih muncul sebagai dua giliran dengan masa mula yang hampir, iaitu apa yang dijangka oleh penyemak manusia.
Bagaimana pula dengan rakaman mono?
Tanpa saluran, anda memerlukan diarization penutur: menentukan siapa bercakap bila. Pilihan:
| Pilihan | Cara | Pertukaran |
|---|---|---|
| Diarization sumber terbuka | Jalankan pyannote.audio pada pelayan anda, kemudian transkripsi setiap segmen penutur | Anda mengehos model; audio kekal dengan anda |
| Penyedia dengan diarization terbina dalam | Beberapa API STT memulangkan label penutur; lihat perbandingan harga untuk kos tambahan | Satu lagi vendor dalam laluan data |
| Pelabelan peranan dengan LLM | Transkripsi giliran, kemudian minta LLM melabel setiap giliran Agent atau Customer berdasarkan konteks | Murah; salah pada giliran pendek atau samar |
| Baiki di sumber | Tukar perakam kepada dwi-saluran | Jawapan jangka panjang terbaik |
BroadNet tidak menyenaraikan diarization, jadi pada audio mono, gandingkannya dengan salah satu daripada tiga pilihan pertama.
Langkah 6: bagaimanakah anda menyunting PII, termasuk digit Arab?
Pemanggil membaca nombor kad, IBAN dan nombor telefon dengan kuat. Transkrip mungkin menulisnya dalam digit Barat (0-9) atau digit Arab Timur (٠-٩). Normalkan dahulu, kemudian sunting:
EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def redact(text):
text = text.translate(EASTERN)
text = re.sub(r"\b(?:\d[ -]?){13,19}\b", "[CARD]", text)
text = re.sub(r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b", "[IBAN]", text)
text = re.sub(r"\+?\d[\d -]{7,}\d", "[PHONE]", text)
return text
Nombor juga boleh disebut sebagai perkataan (“خمسة أربعة…”), yang akan terlepas daripada regex. Ambil sampel transkrip secara manual dan tambah peraturan untuk apa yang anda temui. Pendekatan yang lebih luas ada dalam menghantar data sensitif ke API LLM.
Langkah 7: bagaimanakah anda meringkaskan setiap panggilan dengan LLM?
import json
summary = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Summarise this call centre dialogue. Reply in English JSON with keys: "
"reason, resolution, resolved (true/false), customer_sentiment, follow_up."},
{"role": "user", "content": redact(dialogue)},
],
).choices[0].message.content
print(json.loads(summary))
Qwen3.8 27B menyokong output berstruktur; sentiasa huraikan dan sahkan jawapannya (caranya). Ujian BroadNet sendiri juga mendapati ia memahami dialek Teluk dan Mesir. Minta JSON bahasa Inggeris jika papan pemuka anda dalam bahasa Inggeris, walaupun panggilan itu dalam bahasa Arab.
Semakan kualiti manakah yang perlu didahulukan sebelum analitik?
Papan pemuka yang dibina atas transkrip buruk kelihatan sama yakin dengan yang dibina atas transkrip baik. Tambah semakan ini ke dalam saluran:
- Saluran tertukar. Jika label ejen dan pelanggan terbalik pada sesetengah perakam atau baris gilir, setiap metrik “kata ejen” salah. Semak giliran pertama: ejen biasanya membuka dengan ucapan salam dan nama syarikat.
- Transkrip kosong atau terlalu kecil. Giliran yang tidak memulangkan teks, atau panggilan dengan kurang daripada 20 perkataan, biasanya bermaksud senyap, muzik menunggu atau fail rosak. Tandakannya dan bukannya meringkaskannya.
- Bahasa tidak sepadan. Baris gilir bahasa Inggeris yang tiba-tiba menghasilkan teks Arab, atau bahasa Arab yang dipulangkan dalam huruf Rumi, menunjukkan nilai
languageyang salah. - Ringkasan tersasar. Setiap minggu, minta penyelia membandingkan 20 ringkasan dengan transkrip penuh. Pantau sekerap mana
resolvedsalah.
Simpan transkrip setiap giliran, bukan hanya ringkasan. Apabila ringkasan dipertikaikan, giliran itulah bukti anda.
Berapakah kos transkripsi panggilan?
Dengan pemotongan giliran, audio yang dibilkan hampir sama dengan masa bercakap. Untuk 1,000 jam ucapan bahasa Arab:
- Transkripsi: $252.00 pada $0.0042 seminit di BroadNet Transcribe Arabic, atau $120.00 di BroadNet Transcribe 14 bahasa untuk baris gilir bahasa Inggeris.
- Ringkasan: panggilan 7 minit selalunya beberapa ribu token. Kira harganya dalam kalkulator kos API LLM dengan panjang transkrip sebenar anda, dan bahagian audio dalam kalkulator kos speech-to-text.
Di manakah BroadNet Inference sesuai
BroadNet meliputi langkah 4 dan 7 dengan satu kunci dan satu base URL: bahasa Arab dan 13 bahasa lain untuk transkripsi, dan model chat yang diuji dalam bahasa Arab untuk ringkasan. Audio, transkrip dan prompt tidak disimpan (tanpa penyimpanan data), dan BroadNet melaporkan model bahasa Arabnya #2 daripada 37 (angka September 2026; papan kedudukan langsung menyenaraikannya di #4 daripada 39 pada 15 November 2026) di Open Universal Arabic ASR Leaderboard.
Ia tidak melakukan diarization, transkripsi masa nyata atau penyuntingan untuk anda; semua itu kekal dalam saluran anda. Sebelum komited, uji dialek anda menggunakan kaedah dalam pengecaman ucapan dialek Arab.

