BroadRouter

Временные метки в распознавании речи (timestamps)

Обновлено

Временные метки в распознавании речи — это время начала и конца в секундах, привязанное к частям расшифровки. Метки сегментов охватывают фразу или предложение, метки слов — каждое слово. Они нужны для субтитров, поиска внутри записей и сопоставления текста с говорящими.

Также называют: временные метки, таймкоды, тайм-коды, метки времени слов, пословные временные метки, word timestamps, word-level timestamps, segment timestamps, timestamp_granularities, ASR timestamps

Расшифровка говорит, что было сказано; временные метки — где в записи это найти.

Как это работает

Большинство систем ASR предлагают два уровня:

  • Уровень сегментов. Один интервал на фразу, например {"text": " Hi there!", "timestamp": (0.5, 1.5)}.
  • Уровень слов. Один интервал на слово, например hi с 0,5 до 0,9 с и there с 1,0 до 1,5 с.

ASR-пайплайн Hugging Face даёт оба уровня через return_timestamps: True возвращает сегменты для Whisper, "word" — слова, а CTC-модели, например Wav2Vec2, поддерживают ещё и "char". Результаты приходят в виде chunks, у каждого есть text и кортеж (start, end). В документации отмечено, что время слов у Whisper оценивается динамической трансформацией времени (DTW) по весам cross-attention — это приближение, а не измерение.

Облачные API следуют той же схеме. Руководство OpenAI по распознаванию речи описывает timestamp_granularities[] со значениями word или segment в паре с response_format: "verbose_json" и описывает это только для устаревшей модели whisper-1, которую существующие интеграции могут использовать до её отключения 26 февраля 2027 г.

curl https://api.openai.com/v1/audio/transcriptions \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F model=whisper-1 -F file=@call.mp3 \
  -F response_format=verbose_json \
  -F "timestamp_granularities[]=word"

Почему это важно

  • Субтитры. В файлах SRT и VTT для каждой строки титра нужны начало и конец.
  • Поиск и проверка. Специалист по контролю качества может перейти к секунде, где начинается жалоба, а не слушать весь звонок; см. статью о транскрибации записей колл-центра.
  • Смена говорящих. Расшифровку объединяют с результатом диаризации, сопоставляя время.
  • Размер данных. Вывод с метками слов намного длиннее простого текста, а это важно, если потом вы отправляете его в LLM в виде токенов.

В BroadNet Inference

В документации BroadNet временные метки не описаны. /v1/audio/transcriptions возвращает расшифровку как {"text": "..."}, и параметр timestamp_granularities не указан. Метаданные /v1/models у BroadNet (проверено 2026-11-15) перечисляют verbose_json среди форматов ответа, но нигде не сказано, что в нём есть время сегментов или слов, так что проверьте это, прежде чем на него полагаться. Для грубого тайминга режьте аудио сами, например по паузам, найденным детектором речевой активности (VAD), или на фрагменты фиксированной длины, и записывайте смещение начала каждого фрагмента. Текст фрагмента наследует это смещение. Так получается тайминг на уровне предложений — достаточно, чтобы перемещаться по звонку, но не для субтитров с точностью до кадра. Передавайте language с каждым фрагментом в BroadNet Transcribe Arabic или BroadNet Transcribe. Если тайминг на уровне слов обязателен, используйте элайнер или модель, в документации которой он описан.

Вопросы и ответы

Чем временные метки слов отличаются от меток сегментов?

Метка сегмента даёт одно время начала и конца для фразы из одного или нескольких слов. Метка слова даёт интервал для каждого слова — это нужно редакторам субтитров и поисковым инструментам.

Возвращает ли API транскрибации BroadNet временные метки?

Временные метки не задокументированы. Ответ — только {"text": ...}, поэтому, если нужен примерный тайминг, режьте аудио на фрагменты и запоминайте смещение каждого.

Как сделать субтитры без временных меток слов?

Разрежьте аудио на короткие фрагменты по паузам, транскрибируйте каждый и используйте смещения начала и конца фрагмента как время титра. Это даёт тайминг на уровне фраз — достаточно для многих файлов субтитров, но без точности до кадра.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity