BroadRouter

Timestamp trong speech-to-text (dấu thời gian ASR)

Cập nhật

Timestamp trong speech-to-text là thời điểm bắt đầu và kết thúc, tính bằng giây, gắn với từng phần của bản phiên âm. Timestamp theo đoạn bao một cụm từ hoặc câu; timestamp theo từ gắn với từng từ. Chúng cần cho phụ đề, tìm kiếm trong bản ghi âm và căn văn bản theo người nói.

Còn gọi là: timestamp là gì, dấu thời gian, timestamp theo từ, timestamp theo đoạn, mốc thời gian phiên âm, word timestamps, word-level timestamps, segment timestamps, timestamp_granularities, ASR timestamps

Bản phiên âm cho bạn biết người ta đã nói gì; timestamp cho bạn biết tìm câu đó ở đâu trong bản ghi âm.

Cách hoạt động

Hầu hết hệ thống ASR có hai mức:

  • Mức đoạn. Mỗi cụm từ một khoảng thời gian, ví dụ {"text": " Hi there!", "timestamp": (0.5, 1.5)}.
  • Mức từ. Mỗi từ một khoảng thời gian, ví dụ hi từ 0,5 đến 0,9 giây và there từ 1,0 đến 1,5 giây.

Pipeline ASR của Hugging Face cung cấp cả hai qua return_timestamps: True cho đoạn với Whisper, "word" cho từ, và các model CTC như Wav2Vec2 còn hỗ trợ "char". Kết quả trả về dưới dạng chunks, mỗi phần có text và một tuple (start, end). Tài liệu lưu ý thời gian theo từ của Whisper được ước lượng bằng dynamic time warping trên trọng số cross-attention, tức là xấp xỉ chứ không phải đo đạc.

Các API hosted theo cùng mô hình. Hướng dẫn speech-to-text của OpenAI mô tả timestamp_granularities[] với word hoặc segment, đi kèm response_format: "verbose_json", và chỉ mô tả tính năng này cho model whisper-1 đã deprecated, model mà các tích hợp hiện có vẫn dùng được cho tới khi nó ngừng hoạt động vào ngày 26 tháng 2 năm 2027.

curl https://api.openai.com/v1/audio/transcriptions \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F model=whisper-1 -F file=@call.mp3 \
  -F response_format=verbose_json \
  -F "timestamp_granularities[]=word"

Vì sao quan trọng

  • Phụ đề. File SRT và VTT cần thời điểm bắt đầu và kết thúc cho mỗi dòng phụ đề.
  • Tìm kiếm và rà soát. Người kiểm tra chất lượng có thể nhảy tới đúng giây khách hàng bắt đầu phàn nàn thay vì nghe cả cuộc gọi; xem phiên âm bản ghi tổng đài.
  • Lượt nói. Ghép bản phiên âm với output speaker diarization được thực hiện bằng cách khớp thời gian.
  • Kích thước payload. Output mức từ dài hơn nhiều so với văn bản thuần, điều này quan trọng nếu sau đó bạn đưa nó vào LLM dưới dạng token.

Trên BroadNet Inference

Tài liệu của BroadNet không mô tả timestamp. /v1/audio/transcriptions trả bản phiên âm dưới dạng {"text": "..."}, và không có tùy chọn timestamp_granularities nào được liệt kê. Metadata /v1/models của BroadNet (kiểm tra ngày 2026-11-15) có liệt kê verbose_json là một định dạng response, nhưng không nói nó chứa thời gian theo đoạn hay theo từ, nên hãy thử trước khi dựa vào nó. Để có thời gian tương đối, hãy tự cắt audio, ví dụ tại các khoảng lặng tìm bằng phát hiện giọng nói (VAD) hoặc thành các đoạn cố định, và ghi lại offset bắt đầu của từng đoạn. Văn bản của mỗi đoạn khi đó kế thừa offset này. Cách này cho thời gian theo câu, đủ để nhảy qua lại trong một cuộc gọi, nhưng không đủ cho phụ đề chính xác tới từng khung hình. Gửi language kèm mỗi đoạn tới BroadNet Transcribe Arabic hoặc BroadNet Transcribe. Nếu thời gian theo từ là yêu cầu bắt buộc, hãy chạy một aligner hoặc dùng model có tài liệu về tính năng này.

Câu hỏi thường gặp

Timestamp theo từ và timestamp theo đoạn khác nhau thế nào?

Timestamp theo đoạn cho một thời điểm bắt đầu và kết thúc cho một cụm gồm một hoặc nhiều từ. Timestamp theo từ cho một khoảng thời gian với từng từ, thứ mà trình biên tập phụ đề và công cụ tìm kiếm cần.

API phiên âm của BroadNet có trả timestamp không?

Tài liệu không mô tả timestamp nào. Response chỉ có {"text": ...}, nên nếu cần thời gian tương đối, hãy chia audio thành các đoạn và ghi lại offset của từng đoạn.

Làm phụ đề thế nào khi không có timestamp theo từ?

Chia audio thành các đoạn ngắn tại chỗ ngắt nghỉ, phiên âm từng đoạn, rồi dùng offset bắt đầu và kết thúc của mỗi đoạn làm thời gian phụ đề. Cách này cho thời gian theo cụm từ, đủ cho nhiều file phụ đề nhưng không chính xác tới từng khung hình.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity