전사본은 무슨 말이 오갔는지 알려 주고, 타임스탬프는 녹음의 어디에서 그 말을 찾을 수 있는지 알려 줍니다.
작동 방식
대부분의 ASR 시스템은 두 단계를 제공합니다.
- 세그먼트 단위. 구절마다 시간 범위 하나. 예:
{"text": " Hi there!", "timestamp": (0.5, 1.5)}. - 단어 단위. 단어마다 시간 범위 하나. 예:
hi는 0.50.9초,1.5초.there는 1.0
Hugging Face의 ASR 파이프라인은 return_timestamps로 둘 다 제공합니다. Whisper에서 True는 세그먼트를, "word"는 단어를 주며, Wav2Vec2 같은 CTC 모델은 "char"도 지원합니다. 결과는 chunks로 돌아오며, 각각 text와 (start, end) 튜플을 갖습니다. 문서에 따르면 Whisper의 단어 시간은 크로스 어텐션 가중치에 동적 시간 왜곡(DTW)을 적용해 추정한 것으로, 측정값이 아니라 근사치입니다.
호스팅 API도 같은 패턴을 따릅니다. OpenAI의 음성 인식 가이드는 response_format: "verbose_json"과 함께 쓰는 timestamp_granularities[](word 또는 segment)를 문서화하며, 지원 중단된 whisper-1 모델에 대해서만 이를 문서화합니다. 기존 연동은 이 모델이 종료되는 2027년 2월 26일까지 쓸 수 있습니다.
curl https://api.openai.com/v1/audio/transcriptions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F model=whisper-1 -F file=@call.mp3 \
-F response_format=verbose_json \
-F "timestamp_granularities[]=word"
왜 중요한가
- 자막. SRT와 VTT 파일은 자막 줄마다 시작과 끝이 필요합니다.
- 검색과 검토. 품질 검토자가 통화 전체를 듣지 않고 불만이 시작되는 초로 바로 이동할 수 있습니다. 콜센터 녹음 전사하기를 참고하세요.
- 화자 전환. 전사본과 화자 분리 결과를 합칠 때는 시간을 맞춰 봅니다.
- 페이로드 크기. 단어 단위 출력은 일반 텍스트보다 훨씬 길어서, 이를 LLM에 토큰으로 넣는다면 영향이 큽니다.
BroadNet Inference에서는
BroadNet 문서에는 타임스탬프가 없습니다. /v1/audio/transcriptions는 전사본을 {"text": "..."}로 반환하며, timestamp_granularities 옵션도 나와 있지 않습니다. BroadNet의 /v1/models 메타데이터(2026-11-15 확인)는 응답 형식으로 verbose_json을 나열하지만, 세그먼트나 단어 시간이 들어 있다는 설명은 없으므로 의존하기 전에 테스트하세요. 대략적인 타이밍이 필요하면 음성 구간 검출(VAD)로 찾은 쉬는 구간이나 고정 길이 구간으로 오디오를 직접 자르고, 각 조각의 시작 오프셋을 기록하세요. 그러면 각 조각의 텍스트가 그 오프셋을 물려받습니다. 통화 안에서 이리저리 이동하기에는 충분한 문장 단위 타이밍이지만, 프레임 단위로 정확한 자막은 아닙니다. BroadNet Transcribe Arabic이나 BroadNet Transcribe에 보내는 조각마다 language를 지정하세요. 단어 단위 타이밍이 꼭 필요하다면 정렬 도구(aligner)나 이를 문서화한 모델을 쓰세요.