文字起こしは何が話されたかを、タイムスタンプは録音のどこにそれがあるかを教えてくれます。
仕組み
ほとんどの ASR システムは 2 つの粒度を用意しています。
- セグメント単位。 句ごとに 1 つの時刻範囲。例:
{"text": " Hi there!", "timestamp": (0.5, 1.5)}。 - 単語単位。 単語ごとに 1 つの時刻範囲。例:
hiが 0.5〜0.9 秒、thereが 1.0〜1.5 秒。
Hugging Face の ASR パイプラインは return_timestamps で両方を提供します。Whisper では True でセグメント、"word" で単語を返し、Wav2Vec2 などの CTC モデルは "char" にも対応します。結果は chunks として返り、それぞれに text と (start, end) のタプルが入ります。ドキュメントによれば、Whisper の単語の時刻はクロスアテンションの重みに対する動的時間伸縮(DTW)で推定したもので、測定値ではなく近似値です。
ホスト型の API も同じパターンです。OpenAI の音声認識ガイドは、word または segment を指定する timestamp_granularities[] を response_format: "verbose_json" と組み合わせて使うと説明しており、対応しているのは非推奨の whisper-1 モデルだけです。既存の連携では、2027 年 2 月 26 日の提供終了までこのモデルを使えます。
curl https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F model=whisper-1 -F file=@call.mp3 \
-F response_format=verbose_json \
-F "timestamp_granularities[]=word"
なぜ重要か
- 字幕。 SRT や VTT ファイルでは、字幕の各行に開始と終了の時刻が必要です。
- 検索とレビュー。 品質担当者は通話全体を聞かずに、苦情が始まった秒へ直接移動できます。コールセンターの録音の文字起こしを参照してください。
- 話者の交代。 文字起こしと話者ダイアライゼーションの出力は、時刻を突き合わせて統合します。
- データ量。 単語単位の出力はプレーンテキストよりずっと長く、あとでトークンとして LLM に渡すなら影響します。
BroadNet Inference の場合
BroadNet のドキュメントにタイムスタンプの記載はありません。/v1/audio/transcriptions は文字起こしを {"text": "..."} として返し、timestamp_granularities のオプションも載っていません。BroadNet の /v1/models のメタデータ(2026-11-15 確認)はレスポンス形式に verbose_json を挙げていますが、セグメントや単語の時刻を含むとはどこにも書かれていないので、頼る前にテストしてください。おおまかな時刻で足りるなら、音声区間検出(VAD)で見つけた無音の区切りや固定長のセグメントで音声を自分で分割し、各チャンクの開始オフセットを記録します。各チャンクのテキストはそのオフセットを引き継ぎます。これで文単位のタイミングが得られ、通話の中を行き来するには十分ですが、フレーム単位の字幕には足りません。どのチャンクにも language を付けて BroadNet Transcribe Arabic または BroadNet Transcribe に送ってください。単語単位のタイミングが必須なら、アライナーか、それをドキュメント化しているモデルを使ってください。