BroadRouter

文本转语音(TTS,text-to-speech)

更新于

文本转语音(TTS),也叫语音合成,是把书面文字转换成语音的技术。TTS API 接收文本、音色和输出格式(如 MP3 或 WAV),返回生成的语音。它与把音频转成文字的语音转文字方向相反。

又称: TTS、语音合成、文字转语音、文本转语音 API、TTS API、text-to-speech、text to speech、speech synthesis

语音转文字负责听,文本转语音负责说。语音助手两者都需要。

工作原理

TTS API 接收三样东西:文本、音色和音频格式。下面是 OpenAI 指南中 Python 示例的形式:

from openai import OpenAI
client = OpenAI()
with client.audio.speech.with_streaming_response.create(
    model="gpt-4o-mini-tts",
    voice="coral",
    input="Today is a wonderful day to build something people love!",
    instructions="Speak in a cheerful and positive tone.",
) as response:
    response.stream_to_file("speech.mp3")

它的指南介绍了 /v1/audio/speech 端点、13 种内置音色,以及 MP3(默认)、Opus、AAC、FLAC、WAV 和 PCM 等输出格式,其中 PCM 是不带文件头的原始 24 kHz 16 位样本。它支持分块传输编码的流式输出,所以文件还没生成完就能开始播放,并推荐用 WAV 或 PCM 获得最快的响应。指南还把 tts-1、tts-1-hd 和 gpt-4o-mini-tts 标为已弃用,将于 2027 年 1 月 6 日停用。在基于某个模型开发之前,请先查看最新的模型列表。

许多引擎也接受 SSML,即 W3C 用于语音合成的 XML 标记语言。根元素 <speak> 声明 version="1.1" 和 xml:lang。其他元素包括表示停顿的 <break>、标记日期或数字的 <say-as>、指定精确发音(例如用 IPA)的 <phoneme>,以及标记另一种语言短语的 <lang>:

<speak version="1.1" xml:lang="en-US">
  Pasta should be cooked <lang xml:lang="it">al dente</lang>.
  <break/> Enjoy your meal.
</speak>

为什么重要

  • 语音产品是一条流水线。 语音机器人先做语音转文字,再交给聊天模型,最后做 TTS。每一步都会增加延迟和成本,而且每一步都可以由不同的服务商提供。
  • 格式选择。 输出格式决定文件大小和播放兼容性。例如 WhatsApp 播放的是 Ogg Opus 语音消息。
  • 披露。 OpenAI 要求告知最终用户,TTS 的声音是 AI 生成的。

在 BroadNet Inference 上

BroadNet 不提供文本转语音。它的 API 参考文档只有 POST /v1/chat/completions 和 POST /v1/audio/transcriptions。它提供的是反方向的能力:BroadNet Transcribe Arabic 和 BroadNet Transcribe 把 WAV 或 MP3 音频转成文字,价格分别为每分钟 $0.0042 和 $0.002。BroadNet 也不提供实时语音。

如果你的产品需要发声,请把 BroadNet 的转写和聊天与另一家 TTS 服务商搭配使用。文本、语音与视觉梳理了 BroadNet 能覆盖哪些工作、哪些需要其他服务,WhatsApp 聊天机器人架构一文则展示了流水线中语音消息的那一侧。

常见错误

  • 把 TTS 和 STT 搞混。 语音转文字 API 不会生成音频。要看端点列表,而不是只看有没有 “speech” 这个词。
  • 以为 SSML 到处都能用。 很多 API 只接受纯文本,或只支持 SSML 的一个子集。

常见问题

BroadNet Inference 提供文本转语音吗?

不提供。BroadNet 的文档只有两个端点:chat completions 和音频转写,没有 /v1/audio/speech。如果你的应用需要发声,请另找 TTS 服务商。

SSML 是什么?

语音合成标记语言,W3C 推荐标准(1.1 版,2010 年)。它是一种 XML,用来控制合成语音的发音、停顿、音高、语速和语言切换。各 TTS 服务商的支持程度不一。

必须告诉用户声音是 AI 生成的吗?

OpenAI 在 TTS 指南中引用的使用政策,要求明确告知用户声音由 AI 生成。请查看你所用服务商的条款和当地法律。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity