Nakikinig ang speech-to-text. Sumasagot nang pasalita ang text-to-speech. Kailangan ng mga voice assistant ang dalawa.
Paano ito gumagana
Tatlong bagay ang tinatanggap ng TTS API: ang text, isang boses, at isang audio format. Ito ang hugis ng Python na halimbawa sa gabay ng OpenAI:
from openai import OpenAI
client = OpenAI()
with client.audio.speech.with_streaming_response.create(
model="gpt-4o-mini-tts",
voice="coral",
input="Today is a wonderful day to build something people love!",
instructions="Speak in a cheerful and positive tone.",
) as response:
response.stream_to_file("speech.mp3")
Dinodokumento ng gabay nito ang /v1/audio/speech endpoint, 13 built-in na boses, at mga output format na MP3 (default), Opus, AAC, FLAC, WAV at PCM, kung saan raw na 24 kHz 16-bit na sample na walang header ang PCM. Sinusuportahan nito ang streaming gamit ang chunked transfer encoding, kaya puwedeng magsimula ang playback bago matapos ang file, at inirerekomenda nito ang WAV o PCM para sa pinakamabilis na response. Minamarkahan din ng gabay na deprecated ang tts-1, tts-1-hd at gpt-4o-mini-tts, na may shutdown sa 6 Enero 2027. Tingnan ang kasalukuyang listahan ng model bago ka bumuo sa isa.
Marami ring engine na tumatanggap ng SSML, ang XML markup ng W3C para sa synthesis. Idinedeklara ng root na <speak> element ang version="1.1" at xml:lang. Kasama sa ibang element ang <break> para sa paghinto, <say-as> para markahan ang petsa o numero, <phoneme> para sa eksaktong bigkas (halimbawa sa IPA) at <lang> para sa pariralang nasa ibang wika:
<speak version="1.1" xml:lang="en-US">
Pasta should be cooked <lang xml:lang="it">al dente</lang>.
<break/> Enjoy your meal.
</speak>
Bakit ito mahalaga
- Mga pipeline ang voice product. Ang voice bot ay speech-to-text, saka chat model, saka TTS. Nagdadagdag ng latency at gastos ang bawat hakbang, at puwedeng magkakaibang provider ang bawat isa.
- Pagpili ng format. Ang output format ang nagpapasya sa laki at sa suporta sa playback. Halimbawa, nagpe-play ang WhatsApp ng mga voice note na Ogg Opus.
- Disclosure. Hinihingi ng OpenAI na sabihin sa mga end user na AI-generated ang boses ng TTS.
Sa BroadNet Inference
Walang text-to-speech ang BroadNet. POST /v1/chat/completions at POST /v1/audio/transcriptions lang ang dinodokumento ng API reference nito. Ang kabilang direksiyon ang inaalok nito: ginagawang text ng BroadNet Transcribe Arabic at BroadNet Transcribe ang WAV o MP3 na audio, sa $0.0042 at $0.002 kada minuto. Wala ring live o real-time na voice ang BroadNet.
Kung kailangang magsalita ng produkto mo, ipares ang transcription at chat ng BroadNet sa hiwalay na TTS provider. Ipinapakita ng Text, speech at vision kung aling mga trabaho ang sakop ng BroadNet at kung saan mo kailangan ng ibang serbisyo, at ipinapakita ng post na WhatsApp chatbot architecture ang voice-note na bahagi ng pipeline.
Mga karaniwang pagkakamali
- Pagkalito sa TTS at STT. Hindi gumagawa ng audio ang mga speech-to-text API. Tingnan ang listahan ng endpoint, hindi lang ang salitang “speech”.
- Pag-aakalang gumagana ang SSML kahit saan. Maraming API ang plain text lang o bahagi lang ng SSML ang tinatanggap.