BroadRouter

Синтез речи (text-to-speech, TTS)

Обновлено

Синтез речи (text-to-speech, TTS) — это преобразование письменного текста в звучащую речь. API TTS принимает текст, голос и формат вывода, например MP3 или WAV, и возвращает сгенерированную речь. Это обратная задача по отношению к распознаванию речи, которое превращает аудио в текст.

Также называют: синтез речи, TTS, озвучка текста, озвучивание текста, текст в речь, генерация голоса, text to speech, text-to-speech, speech synthesis

Распознавание речи слушает. Синтез речи отвечает. Голосовым ассистентам нужно и то и другое.

Как это работает

API TTS принимает три вещи: текст, голос и аудиоформат. Так выглядит пример на Python из руководства OpenAI:

from openai import OpenAI
client = OpenAI()
with client.audio.speech.with_streaming_response.create(
    model="gpt-4o-mini-tts",
    voice="coral",
    input="Today is a wonderful day to build something people love!",
    instructions="Speak in a cheerful and positive tone.",
) as response:
    response.stream_to_file("speech.mp3")

Руководство описывает эндпоинт /v1/audio/speech, 13 встроенных голосов и форматы вывода MP3 (по умолчанию), Opus, AAC, FLAC, WAV и PCM, где PCM — сырые 24 кГц 16-битные отсчёты без заголовка. Поддерживается стриминг с chunked transfer encoding, так что воспроизведение может начаться до того, как файл готов, а для самых быстрых ответов рекомендуются WAV или PCM. Там же tts-1, tts-1-hd и gpt-4o-mini-tts помечены как устаревшие с отключением 6 января 2027 г. Прежде чем строить продукт на какой-то модели, проверьте актуальный список.

Многие движки также принимают SSML — XML-разметку W3C для синтеза. Корневой элемент <speak> объявляет version="1.1" и xml:lang. Среди других элементов — <break> для пауз, <say-as> для разметки дат и чисел, <phoneme> для точного произношения (например, в IPA) и <lang> для фразы на другом языке:

<speak version="1.1" xml:lang="en-US">
  Pasta should be cooked <lang xml:lang="it">al dente</lang>.
  <break/> Enjoy your meal.
</speak>

Почему это важно

  • Голосовые продукты — это конвейеры. Голосовой бот — это распознавание речи, затем чат-модель, затем TTS. Каждый шаг добавляет задержку и стоимость, и каждый может быть у своего провайдера.
  • Выбор формата. Формат вывода определяет размер и поддержку воспроизведения. Например, WhatsApp воспроизводит голосовые сообщения в Ogg Opus.
  • Раскрытие. OpenAI требует сообщать конечным пользователям, что голос TTS сгенерирован ИИ.

В BroadNet Inference

Синтеза речи у BroadNet нет. Её справочник API документирует только POST /v1/chat/completions и POST /v1/audio/transcriptions. Обратное направление есть: BroadNet Transcribe Arabic и BroadNet Transcribe превращают аудио WAV или MP3 в текст по цене $0.0042 и $0.002 за минуту. Голосовых функций в живом режиме или в реальном времени BroadNet тоже не предлагает.

Если ваш продукт должен говорить, объедините транскрибацию и чат BroadNet с отдельным провайдером TTS. Статья текст, речь и зрение показывает, какие задачи закрывает BroadNet и где нужен другой сервис, а статья об архитектуре чат-бота для WhatsApp — голосовую часть конвейера.

Частые ошибки

  • Путать TTS и STT. API распознавания речи не генерируют аудио. Смотрите на список эндпоинтов, а не только на слово «speech».
  • Считать, что SSML работает везде. Многие API принимают только простой текст или подмножество SSML.

Вопросы и ответы

Есть ли в BroadNet Inference синтез речи?

Нет. BroadNet документирует два эндпоинта: chat completions и транскрибацию аудио. /v1/audio/speech нет. Если ваше приложение должно говорить, подключите отдельного провайдера TTS.

Что такое SSML?

Speech Synthesis Markup Language — рекомендация W3C (версия 1.1, 2010). Это XML, который управляет произношением, паузами, высотой тона, темпом и сменой языка в синтезированной речи. Поддержка зависит от провайдера TTS.

Нужно ли сообщать пользователям, что голос сгенерирован ИИ?

Правила использования OpenAI в цитате из её руководства по TTS требуют ясно сообщать, что голос сгенерирован ИИ. Проверьте условия своего провайдера и местное законодательство.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity