呼叫中心每月产生数千小时的音频,几乎没有人去听。转写文本让通话可以搜索,摘要让通话可以复核。本文从头到尾搭建这条流水线,并特别照顾阿拉伯语:方言、阿拉伯语和英语混杂,以及东阿拉伯数字。
步骤如下:
- 检查录音:立体声还是单声道?
- 把立体声拆成坐席和客户两个声道。
- 把每个声道切成说话轮次。
- 用正确的语言转写每个轮次。
- 按开始时间把轮次合并成对话。
- 从文本中脱敏个人信息(PII)。
- 用大模型把通话总结成结构化字段。
第 1 步:录音是立体声还是单声道?
ffprobe -v error -show_entries stream=channels,sample_rate,duration -of csv=p=0 call.wav
# 2,8000,412.6 -> stereo, 8 kHz telephone audio, 6.9 minutes
许多呼叫中心录音系统把坐席放在一个声道、客户放在另一个声道。AssemblyAI 的呼叫中心指南也指出了这一点:声道分开时,不用说话人分离就能区分说话人。用几通电话确认哪个声道是哪一方;坐席并不总在左声道。
第 2 步:怎样用 ffmpeg 拆分立体声声道?
ffmpeg -i call.wav -af "pan=mono|c0=c0" -ar 16000 agent.wav
ffmpeg -i call.wav -af "pan=mono|c0=c1" -ar 16000 customer.wav
pan 滤镜保留一个声道,-ar 16000 重采样到 16 kHz,也就是 BroadNet 文档中电话录音使用的格式。
第 3 步:怎样把每个声道切成说话轮次?
这是一种简单的语音活动检测。整段发送每个声道也可以,但对方说话时这边的每一秒静音你都要付费,立体声通话的账单大约会翻倍,而且还会丢失轮次顺序。在静音处切分能同时解决这两个问题:
import re, subprocess
def speech_turns(wav, noise="-35dB", min_silence=0.6):
"""Return (start, end) seconds of speech, using ffmpeg silencedetect."""
log = subprocess.run(
["ffmpeg", "-i", wav, "-af", f"silencedetect=noise={noise}:d={min_silence}", "-f", "null", "-"],
capture_output=True, text=True).stderr
dur = float(subprocess.run(
["ffprobe", "-v", "error", "-show_entries", "format=duration", "-of", "csv=p=0", wav],
capture_output=True, text=True).stdout)
starts = [float(x) for x in re.findall(r"silence_start: ([\d.]+)", log)]
ends = [float(x) for x in re.findall(r"silence_end: ([\d.]+)", log)]
turns, cursor = [], 0.0
for s, e in zip(starts, ends + [dur]):
if s - cursor > 0.4:
turns.append((cursor, s))
cursor = e
if dur - cursor > 0.4:
turns.append((cursor, dur))
return turns
在你自己的录音上调整 noise:噪声大的线路需要更高的阈值,比如 -30dB。
第 4 步:怎样转写每个轮次?
import os, tempfile
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def transcribe_turns(wav, speaker, language="ar"):
out = []
for start, end in speech_turns(wav):
with tempfile.NamedTemporaryFile(suffix=".wav") as seg:
subprocess.run(["ffmpeg", "-y", "-loglevel", "error", "-i", wav,
"-ss", f"{start:.2f}", "-to", f"{end:.2f}", seg.name], check=True)
with open(seg.name, "rb") as audio:
text = client.audio.transcriptions.create(
model="broadnet/cohere-transcribe-arabic", file=audio, language=language).text
out.append({"start": start, "speaker": speaker, "text": text.strip()})
return out
始终传入 language。不传的话,阿拉伯语可能以拉丁字母返回。英语队列使用 broadnet/cohere-transcribe 并设 language="en"。工作线程池要小一些:按量付费的密钥同时允许 4 个请求、每分钟 30 个,错误与重试指南介绍了遇到 429 时如何退避。
单个文件必须小于 25 MiB。16 kHz 单声道 WAV(每秒约 32 KB)的长段独白大约 13 分钟就会超过这个限制;用 -f segment -segment_time 600 切分。
第 5 步:怎样把轮次合并成对话?
turns = transcribe_turns("agent.wav", "Agent") + transcribe_turns("customer.wav", "Customer")
dialogue = "\n".join(f'{t["speaker"]}: {t["text"]}' for t in sorted(turns, key=lambda t: t["start"]))
重叠的说话会表现为两个开始时间相近的轮次,这也正是人工复核员所预期的。
单声道录音怎么办?
没有分开的声道,就需要**说话人分离**:判断谁在什么时候说话。可选方案:
| 方案 | 做法 | 取舍 |
|---|---|---|
| 开源说话人分离 | 在你的服务器上运行 pyannote.audio,再转写每个说话人片段 | 需要自己托管模型;音频留在你这里 |
| 内置说话人分离的服务商 | 一些语音识别 API 会返回说话人标签;附加费用见价格对比 | 数据路径上多了一个供应商 |
| 用大模型标注角色 | 先转写轮次,再让大模型根据上下文把每个轮次标为坐席或客户 | 便宜;在简短或含糊的轮次上会出错 |
| 从源头解决 | 把录音系统切换为双声道 | 长期来看最好的办法 |
BroadNet 没有列出说话人分离功能,所以对单声道音频,请搭配前三种方案之一使用。
第 6 步:怎样脱敏个人信息,包括阿拉伯数字?
来电者会把卡号、IBAN 和电话号码念出来。转写文本中可能用西方数字(0-9)书写,也可能用东阿拉伯数字(٠-٩)。先规范化,再脱敏:
EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def redact(text):
text = text.translate(EASTERN)
text = re.sub(r"\b(?:\d[ -]?){13,19}\b", "[CARD]", text)
text = re.sub(r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b", "[IBAN]", text)
text = re.sub(r"\+?\d[\d -]{7,}\d", "[PHONE]", text)
return text
数字也可能以单词形式说出(“خمسة أربعة…”),正则表达式会漏掉。人工抽查转写文本,根据发现的情况补充规则。更全面的做法见向大模型 API 发送敏感数据。
第 7 步:怎样用大模型总结每通电话?
import json
summary = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Summarise this call centre dialogue. Reply in English JSON with keys: "
"reason, resolution, resolved (true/false), customer_sentiment, follow_up."},
{"role": "user", "content": redact(dialogue)},
],
).choices[0].message.content
print(json.loads(summary))
Qwen3.8 27B 支持结构化输出;始终要解析并校验回复(方法)。BroadNet 自己的测试还发现它能理解海湾方言和埃及方言。如果你的仪表盘是英文的,即使通话是阿拉伯语,也要求输出英文 JSON。
做分析之前要做哪些质量检查?
基于糟糕转写文本做出的仪表盘,看上去和基于优质转写的一样笃定。在流水线中加入这些检查:
- 声道颠倒。 如果某个录音系统或队列上的坐席和客户标签反了,所有 “坐席说了什么” 的指标都是错的。检查第一个轮次:坐席通常以问候语和公司名称开场。
- 空的或极短的转写。 某个轮次没有返回文本,或者整通电话不到 20 个词,通常意味着静音、等待音乐或文件损坏。标记出来,而不是去总结它。
- 语言不匹配。 英语队列突然产出阿拉伯语文本,或者阿拉伯语以拉丁字母返回,说明
language值设错了。 - 摘要偏差。 每周让主管把 20 份摘要与完整转写对照。跟踪
resolved出错的频率。
保存每个轮次的转写,而不只是摘要。摘要有争议时,轮次就是你的证据。
通话转写要花多少钱?
切分轮次后,计费的音频时长接近说话时长。以 1,000 小时阿拉伯语语音为例:
- 转写:在 BroadNet Transcribe Arabic 上按每分钟 $0.0042 计为 $252.00;英语队列使用支持 14 种语言的 BroadNet Transcribe,为 $120.00。
- 摘要:一通 7 分钟的电话通常是几千个 token。用你真实的转写长度在大模型 API 成本计算器里估价,音频部分用语音转文字成本计算器。
BroadNet Inference 的定位
BroadNet 用一个密钥和一个 base URL 覆盖第 4 步和第 7 步:转写支持阿拉伯语及另外 13 种语言,摘要则使用经过阿拉伯语测试的对话模型。音频、转写文本和提示词都不会被保留(零数据保留),BroadNet 报告其阿拉伯语模型在 Open Universal Arabic ASR Leaderboard 上位列 第 2 名(共 37 个)(这是 2026年9月的数据;2026年11月15日实时榜单上为 39 个中的第 4 名)。
它不替你做说话人分离、实时转写或脱敏;这些都留在你的流水线里。在决定之前,用阿拉伯语方言语音识别中的方法测试你的方言。

