Speech-to-text thì nghe. Text-to-speech thì đáp lại. Trợ lý giọng nói cần cả hai.
Cách hoạt động
Một API TTS nhận ba thứ: văn bản, giọng đọc và định dạng audio. Đây là dạng ví dụ Python trong hướng dẫn của OpenAI:
from openai import OpenAI
client = OpenAI()
with client.audio.speech.with_streaming_response.create(
model="gpt-4o-mini-tts",
voice="coral",
input="Today is a wonderful day to build something people love!",
instructions="Speak in a cheerful and positive tone.",
) as response:
response.stream_to_file("speech.mp3")
Hướng dẫn mô tả endpoint /v1/audio/speech, 13 giọng đọc có sẵn, và các định dạng output MP3 (mặc định), Opus, AAC, FLAC, WAV và PCM, trong đó PCM là mẫu thô 24 kHz 16-bit không có header. API hỗ trợ streaming với chunked transfer encoding, nên có thể bắt đầu phát trước khi file hoàn tất, và khuyên dùng WAV hoặc PCM để có phản hồi nhanh nhất. Hướng dẫn cũng đánh dấu tts-1, tts-1-hd và gpt-4o-mini-tts là đã deprecated, sẽ ngừng hoạt động vào ngày 6 tháng 1 năm 2027. Hãy kiểm tra danh sách model hiện tại trước khi xây dựng trên một model nào đó.
Nhiều engine cũng nhận SSML, markup XML của W3C cho tổng hợp giọng nói. Phần tử gốc <speak> khai báo version="1.1" và xml:lang. Các phần tử khác gồm <break> để ngắt nghỉ, <say-as> để đánh dấu ngày tháng hoặc con số, <phoneme> cho cách phát âm chính xác (ví dụ bằng IPA) và <lang> cho một cụm từ bằng ngôn ngữ khác:
<speak version="1.1" xml:lang="en-US">
Pasta should be cooked <lang xml:lang="it">al dente</lang>.
<break/> Enjoy your meal.
</speak>
Vì sao quan trọng
- Sản phẩm giọng nói là một pipeline. Voice bot gồm speech-to-text, rồi model chat, rồi TTS. Mỗi bước cộng thêm độ trễ và chi phí, và mỗi bước có thể do một nhà cung cấp khác đảm nhận.
- Chọn định dạng. Định dạng output quyết định dung lượng và khả năng phát lại. Ví dụ, WhatsApp phát tin nhắn thoại dạng Ogg Opus.
- Công bố. OpenAI yêu cầu thông báo cho người dùng cuối rằng giọng TTS do AI tạo ra.
Trên BroadNet Inference
BroadNet không cung cấp text-to-speech. Tài liệu tham khảo API chỉ mô tả POST /v1/chat/completions và POST /v1/audio/transcriptions. BroadNet cung cấp chiều ngược lại: BroadNet Transcribe Arabic và BroadNet Transcribe chuyển audio WAV hoặc MP3 thành văn bản, với giá $0.0042 và $0.002 mỗi phút. BroadNet cũng không có giọng nói trực tiếp hay thời gian thực.
Nếu sản phẩm của bạn cần phát giọng nói, hãy kết hợp phiên âm và chat của BroadNet với một nhà cung cấp TTS riêng. Văn bản, giọng nói và thị giác cho thấy BroadNet đảm nhận những việc nào và chỗ nào bạn cần dịch vụ khác, còn bài kiến trúc chatbot WhatsApp trình bày phần tin nhắn thoại của pipeline.
Lỗi thường gặp
- Nhầm TTS với STT. API speech-to-text không sinh ra audio. Hãy xem danh sách endpoint, đừng chỉ nhìn chữ “speech”.
- Cho rằng SSML chạy ở đâu cũng được. Nhiều API chỉ nhận văn bản thuần hoặc một phần của SSML.