BroadRouter

用 API 把阿拉伯语音频翻译成英文文本:一条经过测试的流水线

BroadNet Inference 团队 · 阅读约 8 分钟 · 发布于 · 更新于

分两步走。先用语音转文字 API 转写阿拉伯语音频,把 language 设为 ar,再用大模型翻译转写文本,并要求它保留人名和数字。长文件先切分,在代码里核对数字,再用 chrF 给一小批样本打分,看看转写这一步让质量损失了多少。

搜索“把阿拉伯语音频翻译成英文”,排在前面的大多是上传、下载式的网页工具。处理一个文件,它们没问题。但如果你需要在自己的产品里做翻译(客服通话、访谈、语音消息、讲座),就需要两次 API 调用,外加一些检查。本文在一个 OpenAI 兼容密钥上搭建这条流水线,对它做测试,并展示如何衡量它是否够好。

如果要翻译已有的阿拉伯语文本,请看用大模型做阿拉伯语–英语翻译。如果要把会议录音变成会议纪要而不是完整译文,请看从录音生成阿拉伯语会议纪要。

一次调用还是两次?

从阿拉伯语语音得到英文文本有两种方式:

方式 原理 适合
语音翻译(一步) 一个请求,服务直接返回英文 实时音频、字幕、最简单的代码
先转写再翻译(两步) 一次语音转文字调用返回阿拉伯语文本,再由大模型翻译 文件;需要阿拉伯语原文、术语表和检查时

最知名的文件一步式端点正在变化。OpenAI 的语音转文字指南说,/v1/audio/translations “uses whisper-1 to translate a completed audio recording into English”(译文:使用 whisper-1 把一段完整的录音翻译成英文)。它的弃用说明页面(2026-11-15 查阅)给出的通知日期是 2026 年 8 月 26 日,停用日期是 2027 年 2 月 26 日。列出的替代方案是 /v1/realtime/translations,那是一个实时 API,不是文件上传。如果你的代码调用的是旧端点,无论如何都得重写。

Soniox 是目前的一步式选项之一:它的阿拉伯语到英语页面展示了一个 WebSocket 请求,其中 translation 配置的 source 为 ar、target 为 en。实时音频才是这类流式产品最有意义的场景。

对于文件,两步流水线有三个实际优势:

  1. **你保留了阿拉伯语转写。**你可以检索它、把它和英文并排显示,日后还能用更好的模型重新翻译,而不必再为转写付费。
  2. **翻译由你掌控。**你来选模型,给它一份人名和产品术语的术语表,并在代码中检查输出。
  3. **你能看出错误从哪里来。**一句错误的英文,要么是识别错误,要么是翻译错误。手里有转写文本,你就能分辨是哪一种。

代价是多一个请求和更多代码。本文剩下的部分就是这些代码。

流水线是什么样的?

recording (.m4a, .mp4, .ogg, .wav)
  → ffmpeg: 16 kHz mono WAV, parts of 10 minutes or less
  → transcribe each part (language=ar)        → Arabic text
  → translate each part, with glossary and the end of the previous part as context
  → check numbers and empty or cut-off replies → English text

第 1 步:怎么准备和切分音频?

BroadNet 的转写端点接受 WAV(audio/wav)或 MP3(audio/mpeg),每个文件最大 26,214,400 字节。手机录音(.m4a)、WhatsApp 语音消息(.ogg)和视频本来就需要转换,所以在同一个 ffmpeg 步骤里重采样并切分:

ffmpeg -i interview.m4a -ar 16000 -ac 1 -c:a pcm_s16le \
  -f segment -segment_time 600 chunks/part_%03d.wav

16 kHz 单声道 16 位音频每秒 32,000 字节,所以 10 分钟的一段约 19.2 MB,低于上限。我们在一个 25 分钟的测试文件上运行了这条命令:它生成了两段,分别为 19,200,162 和 19,200,194 字节,以及一段 5 分钟、9,599,878 字节的音频。

按固定时长切分可能把一个词切断。对于真实语音,改为在静音处切分;转写长音频文件里有一个基于静音的切分器,音频切分工具会为你写好 ffmpeg 命令。关于采样率以及为什么 16 kHz 足以处理语音,请看术语表。

第 2 步和第 3 步:怎么转写和翻译?

下面的脚本把每一段先发给阿拉伯语转写模型,再连同翻译提示词发给对话模型。它用 OpenAI Python SDK 运行。

import os, re, glob
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

GLOSSARY = {"شركة النخيل": "Al Nakheel Company", "مازن": "Mazen"}  # your fixed terms
SYSTEM = """You translate transcripts of spoken Arabic into clear English.
The Arabic comes from speech recognition: it may be dialect, have no punctuation,
mix in English words, and contain recognition errors.
Rules:
- Translate the meaning faithfully. Do not summarise, add or drop content.
- Keep every number, date, amount and name. Write numbers as digits.
- Use the glossary spellings exactly.
- Keep English words that the speaker used as they are.
- If a phrase makes no sense, translate it literally and add [unclear] after it.
- Reply with the English translation only."""

def glossary_block(text: str) -> str:
    hits = [f"{ar} = {en}" for ar, en in GLOSSARY.items() if ar in text]
    return "Glossary:\n" + "\n".join(hits) + "\n\n" if hits else ""

def transcribe(path: str) -> str:
    with open(path, "rb") as audio:
        return client.audio.transcriptions.create(
            model="broadnet/cohere-transcribe-arabic", file=audio, language="ar").text

def translate(arabic: str, previous: str = "") -> str:
    context = f"Previous part, for context only, do not translate:\n{previous}\n\n" if previous else ""
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b", max_tokens=4000, reasoning_effort="low",
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": glossary_block(arabic) + context + "Translate:\n" + arabic}])
    choice = r.choices[0]
    if choice.finish_reason == "length" or not choice.message.content:
        raise RuntimeError("cut off: raise max_tokens or send a shorter part")
    return choice.message.content.strip()

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def missing_numbers(arabic: str, english: str) -> list[str]:
    nums = re.findall(r"\d+", arabic.translate(DIGITS))
    return [x for x in nums if x not in re.findall(r"\d+", english)]

previous = ""
for chunk in sorted(glob.glob("chunks/part_*.wav")):
    arabic = transcribe(chunk)
    english = translate(arabic, previous)
    print(f"--- {chunk}\nAR: {arabic}\nEN: {english}")
    if gaps := missing_numbers(arabic, english):
        print(f"CHECK: numbers {gaps} missing from the translation")
    previous = arabic[-500:]

每个部分的作用:

  • **language="ar"。**BroadNet 的文档要求转写请求始终带上 language。阿拉伯语语音转文字指南详细介绍了这个请求。
  • **提示词说明了文本的来源。**转写文本没有标点,可能是方言,还可能有识别错误。告诉模型这一点,它就不会把奇怪的说法当成有意为之,[unclear] 标记也给了审阅者可以搜索的东西。
  • **保留英语单词。**讲阿拉伯语的人经常在句子中途切换到英语(“الـ deadline”、“فريق الـ QA”)。这就是语码转换,模型应该保持这些词不动,而不是来回翻译。
  • **按段发送术语表。**只发送在本段中出现的术语表条目,以保持提示词简短。匹配是精确匹配,所以如果你的转写文本拼写不统一(أ 与 ا、ة 与 ه),先把两边都归一化;阿拉伯语文本归一化工具展示了常用规则。
  • **上一段作为上下文。**上一段阿拉伯语的最后 500 个字符,有助于处理代词和在分段边界被切断的句子。提示词说明不要翻译它,所以它不会出现两次。
  • **max_tokens=4000 和 reasoning_effort="low"。**BroadNet 的文档说,DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再作答,思考内容计入 max_tokens。上限太小可能返回空回答;参见思考 token 与空回答。遇到空回复或被截断的回复,代码会报错,而不是保存半份译文。
  • **数字核对。**数字是翻译出错时伤害最大的地方。这项检查把阿拉伯-印度数字(٠-٩)和波斯数字(۰-۹)映射为 0-9,并确认每个数字都出现在英文中。用文字说出的数字(“خمسة عشر”)抓不到,所以凡是重要的内容,仍要有人审阅。

测试结果如何?

我们用一个实现了这两个端点的本地模拟服务器运行了脚本(没有调用真实 API)。25 分钟测试文件切出的三段,以 model=broadnet/cohere-transcribe-arabic 和 language=ar 发送,每个对话请求都带着本段的术语表条目,并以上一段阿拉伯语作为上下文。模拟服务器的第三段译文故意漏掉了一个数字,脚本输出:

--- chunks/part_002.wav
AR: اتفقنا مع شركة النخيل على تسليم ٢٤٠ وحدة قبل نهاية الشهر
EN: We agreed with Al Nakheel to deliver the units before month end.
CHECK: numbers ['240'] missing from the translation

这些阿拉伯语句子和公司都是为测试编造的。这次运行证明代码能用,而不是证明任何模型的翻译有多好;要衡量后者,请用下面的评分步骤。

识别错误会怎样影响翻译?

它们会原封不动地传过去。如果说话人说的是 ٢٤٠,转写却写成 ٢١٤,译文就会忠实地写成 214。如果一个方言词被误听成发音相近的标准词,译文会流畅而错误。流畅的英文让这些错误很难被发现,这是所有语音翻译系统的主要风险。

你可以测量每一步各贡献了多少错误。收集 30 个以上片段,每个片段准备:

  1. 一份人工阿拉伯语转写,
  2. 一份人工英文译文(参考译文)。

然后用你的流水线分别翻译人工转写和 ASR 转写,并都与参考译文比较打分。chrF 是一种字符 n-gram 分数,比 BLEU 更能应对人名和词形变化,是阿拉伯语–英语的常用默认指标;SacreBLEU 两者都能算:

from sacrebleu.metrics import BLEU, CHRF

# One English reference per clip, written by a human translator.
refs = ["We agreed with Al Nakheel Company to deliver 240 units before the end of the month.",
        "The deadline is December 15, and Mazen is following up with the QA team."]
# Your pipeline's English, from the human Arabic transcript (MT only)...
from_gold = ["We agreed with Al Nakheel Company to deliver 240 units before the end of the month.",
             "The deadline is 15 December, and Mazen is following up with the QA team."]
# ...and from the ASR transcript (the full pipeline).
from_asr = ["We agreed with Al Nakheel Company to deliver 214 units before the end of the month.",
            "The deadline is 15 December, and Mazen is following up with the key team."]

chrf, bleu = CHRF(), BLEU()
for name, hyp in [("MT on human transcript", from_gold), ("ASR + MT", from_asr)]:
    print(f"{name:24} chrF {chrf.corpus_score(hyp, [refs]).score:5.1f}   BLEU {bleu.corpus_score(hyp, [refs]).score:5.1f}")

在这两个玩具句子上(SacreBLEU 2.6.0),人工转写路径输出 chrF 94.6、BLEU 89.2,完整流水线输出 chrF 87.1、BLEU 71.7。两个玩具句子证明不了任何模型的好坏。在你自己的片段上,如果差距很大,说明你应该改进识别:更好的音频、像阿拉伯语方言语音识别那样建立方言测试集,或者换一家服务商。如果差距很小但整体分数偏低,说明翻译这一步需要改进:更好的提示词、术语表或换一个模型。要单独给转写这一步打分,请用词错误率。

自动分数用来给系统排序,不能替译文签字放行。请一位双语审阅者阅读一批样本,尤其是数字、人名和否定句。

该用哪些模型?

步骤 BroadNet 模型 价格 说明
转写 BroadNet Transcribe Arabic 每分钟 $0.0042(每小时 $0.25) 仅支持阿拉伯语;可用 $5 的初始额度
翻译 Qwen3.8 27B 每百万 token 输入 $0.175,输出 $2.17 思考模型;262,144 token 上下文;需要充值
翻译 Gemma 4 VL 26B 每百万 token 输入 $0.10,输出 $0.22 可用初始额度;32,768 token 上下文,通常够一段 10 分钟的音频;请在 token 计数器里检查一份样本。去掉 reasoning_effort,BroadNet 只为其思考模型提供该参数的文档
翻译 DeepSeek V4.1 Flash 每百万 token 输入 $0.175,输出 $0.52,或固定价格会话 思考模型;由合作方托管;需要充值或购买套餐

用每个翻译模型在同一批片段上运行评分脚本,根据分数和审阅者的意见来选,而不是根据我们的表格。为阿拉伯语选择大模型介绍了更全面的取舍。

一小时音频要花多少钱?

分两部分:

  • 转写按音频分钟计费:在 BroadNet Transcribe Arabic 上每小时 $0.25。
  • 翻译按 token 计费:prompt_tokens × input price + completion_tokens × output price,再除以 1,000,000。提示词包括系统提示词、术语表条目、上一段的上下文和转写文本。补全包括英文译文,在思考模型上还包括思考 token。

我们不公布一个统一的每小时翻译费用,因为它取决于说话速度、方言以及模型思考了多少。请自己测量:跑一个典型的小时,把响应中的 usage.prompt_tokens 和 usage.completion_tokens 加起来,填进大模型 API 费用计算器。在拿到音频之前,可以把一段转写样本粘贴到阿拉伯语 token 计数器里;正如阿拉伯语和英语每个词多少 token所示,阿拉伯语每个词通常比英语消耗更多 token。语音转文字费用计算器可以计算音频部分的费用。

对于大批积压任务,固定价格的 DeepSeek V4.1 Flash 会话可以让翻译这一步不再按 token 计费:每个会话每小时 $1、每周 $15 或每月 $60。一个会话同一时间处理一个请求,所以并行的 worker 需要更多会话。转写仍按分钟计费。

什么时候这条流水线不合适?

  • **实时音频。**通话、实时字幕和语音智能体需要在几秒内得到流式结果。流式语音翻译 API 或实时端点比文件上传更合适。
  • **字幕。**BroadNet 的转写响应只有文本,没有时间戳。用纯文本 API 生成阿拉伯语字幕展示了分段偏移能做到什么程度;如需词级时间,请使用返回时间戳的服务商。
  • **BroadNet 不转写的语言。**阿拉伯语模型只处理阿拉伯语。其他源语言,请先查看多语种模型支持的 14 种语言列表。
  • **法律或医疗记录。**用流水线出草稿,正式记录交给人工译员。

BroadNet Inference 的定位

BroadRouter 是 BroadNet 自己的网站。BroadNet Inference 在一个 OpenAI 兼容密钥上提供这条流水线的两个步骤:在 /v1/audio/transcriptions 上做阿拉伯语转写,在 /v1/chat/completions 上做翻译。它没有一步式语音翻译端点,也没有流式转写,所以实时音频请使用其他服务商。它的隐私政策说,推理内容(包括音频、转写文本和回答)不予保留;必要的账户、计费和安全元数据会保留。从阿拉伯语转写页面或 API 参考开始,并在依赖输出之前,先用你自己的录音测试。

常见问题

一次 API 调用能把阿拉伯语音频翻译成英文吗?

能,用 Soniox 这类语音翻译 API,它在语音转文字请求里加了一个翻译设置。OpenAI 的 /v1/audio/translations 端点对文件也能做到,但已被弃用,停用日期为 2027 年 2 月 26 日。两步流水线需要两次调用,同时还能得到阿拉伯语转写。

直接语音翻译和先转写再翻译,哪个更好?

在你自己的音频上两种都测一下。先转写再翻译,可以自选翻译模型、加术语表、核对数字并保留阿拉伯语文本。一步式 API 更简单,通常更适合实时音频。做决定之前,用 chrF 对照人工译文给 30 个以上片段打分。

这条流水线能处理埃及、海湾或黎凡特阿拉伯语吗?

主要取决于转写这一步,所以要用你服务的那些方言的录音来测试。然后告诉翻译模型,转写文本可能是方言,也可能夹杂英语单词。语音模型很少见过的方言词,是错误的主要来源。

超过 25 MB 的阿拉伯语音频文件怎么翻译?

用 ffmpeg 把它转成 16 kHz 单声道 WAV,并切成每段 10 分钟以内;每段约 19.2 MB。逐段转写,再按顺序逐段翻译,并把上一段的结尾作为上下文传入。

这样能得到带时间戳的英文字幕吗?

BroadNet 无法直接提供:它的转写响应只有文本,没有时间戳。你可以像我们那篇阿拉伯语字幕文章那样,根据分段偏移来给字幕定时,或者使用返回词级或片段级时间戳的服务商。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity