Speech-to-Text hört zu. Text-to-Speech antwortet. Sprachassistenten brauchen beides.
So funktioniert es
Eine TTS-API nimmt drei Dinge entgegen: den Text, eine Stimme und ein Audioformat. So sieht das Python-Beispiel im Leitfaden von OpenAI aus:
from openai import OpenAI
client = OpenAI()
with client.audio.speech.with_streaming_response.create(
model="gpt-4o-mini-tts",
voice="coral",
input="Today is a wonderful day to build something people love!",
instructions="Speak in a cheerful and positive tone.",
) as response:
response.stream_to_file("speech.mp3")
Der Leitfaden dokumentiert den Endpoint /v1/audio/speech, 13 eingebaute Stimmen und die Ausgabeformate MP3 (Standard), Opus, AAC, FLAC, WAV und PCM, wobei PCM rohe 24-kHz-Samples mit 16 Bit ohne Header sind. Er unterstützt Streaming mit Chunked Transfer Encoding, sodass die Wiedergabe beginnen kann, bevor die Datei fertig ist, und empfiehlt WAV oder PCM für die schnellsten Antworten. Der Leitfaden markiert außerdem tts-1, tts-1-hd und gpt-4o-mini-tts als veraltet, mit Abschaltung am 6. Januar 2027. Prüfen Sie die aktuelle Modellliste, bevor Sie auf eines aufbauen.
Viele Engines akzeptieren auch SSML, das XML-Markup des W3C für Sprachsynthese. Das Wurzelelement <speak> deklariert version="1.1" und xml:lang. Weitere Elemente sind <break> für Pausen, <say-as> zur Kennzeichnung von Datumsangaben oder Zahlen, <phoneme> für eine exakte Aussprache (zum Beispiel in IPA) und <lang> für eine Wendung in einer anderen Sprache:
<speak version="1.1" xml:lang="en-US">
Pasta should be cooked <lang xml:lang="it">al dente</lang>.
<break/> Enjoy your meal.
</speak>
Warum es wichtig ist
- Sprachprodukte sind Pipelines. Ein Voicebot ist Speech-to-Text, dann ein Chat-Modell, dann TTS. Jeder Schritt erhöht Latenz und Kosten, und jeder kann von einem anderen Anbieter kommen.
- Formatwahl. Das Ausgabeformat bestimmt Größe und Abspielbarkeit. WhatsApp etwa spielt Sprachnachrichten im Format Ogg Opus ab.
- Offenlegung. OpenAI verlangt, Endnutzern mitzuteilen, dass eine TTS-Stimme KI-generiert ist.
Bei BroadNet Inference
BroadNet bietet kein Text-to-Speech an. Die API-Referenz dokumentiert nur POST /v1/chat/completions und POST /v1/audio/transcriptions. Angeboten wird die andere Richtung: BroadNet Transcribe Arabic und BroadNet Transcribe wandeln WAV- oder MP3-Audio in Text um, zu $0.0042 und $0.002 pro Minute. BroadNet bietet außerdem keine Live- oder Echtzeit-Sprachfunktion.
Wenn Ihr Produkt sprechen muss, kombinieren Sie Transkription und Chat von BroadNet mit einem separaten TTS-Anbieter. Text, Sprache und Bild zeigt, welche Aufgaben BroadNet abdeckt und wo Sie einen anderen Dienst brauchen, und der Beitrag zur Architektur eines WhatsApp-Chatbots zeigt die Sprachnachrichten-Seite der Pipeline.
Häufige Fehler
- TTS mit STT verwechseln. Speech-to-Text APIs erzeugen kein Audio. Prüfen Sie die Liste der Endpoints, nicht nur das Wort „speech“.
- Annehmen, dass SSML überall funktioniert. Viele APIs akzeptieren nur Klartext oder eine Teilmenge von SSML.