BroadRouter
Magsimula

Speaker diarization

Na-update

Ang speaker diarization ay ang task ng paghahati ng audio recording sa mga segment ayon sa nagsasalita, na sumasagot sa tanong na "sino ang nagsalita at kailan". Nilalagyan nito ang bawat bahagi ng pananalita ng anonymous na speaker ID gaya ng SPEAKER_00, at kadalasang isinasama sa transcript para makita kung sino ang nagsabi ng bawat linya.

Tinatawag ding: speaker diarisation, speaker labels, who spoke when, speaker separation, speaker segmentation, diarization, paghihiwalay ng nagsasalita

Ginagawang usapan ng diarization ang isang bloke ng transcript: agent, tapos customer, tapos agent ulit.

Paano ito gumagana

Kadalasang tatlong yugto ang pinapatakbo ng isang diarization pipeline:

  1. Hanapin ang pananalita. Minamarkahan ng voice activity detection kung saan may nagsasalita.
  2. I-embed ang maiikling window. Ginagawang vector ng isang speaker-embedding model ang bawat hiwa, na kumukuha sa katangian ng boses.
  3. I-cluster. Pareho ang label ng mga hiwang magkahawig ang vector, at hinahawakan ang sabay na pananalita kung sinusuportahan ito ng model.

Tumatanggap ang open na pyannote speaker-diarization-3.1 pipeline sa Hugging Face ng mono audio sa 16 kHz (dina-downmix nito ang stereo at nire-resample ang ibang rate) at isinusulat ang resulta sa RTTM, isang plain-text format na may isang linya kada speaker turn. Ibinibigay ng isang RTTM line ang file, channel, oras ng simula, tagal at speaker label:

SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>

Iniuulat ng model card nito ang diarization error rate (DER) kada benchmark, mula 7.8% sa REPERE hanggang 50.0% sa AVA-AVD, at 11.3% sa VoxConverse. Ipinapakita ng agwat kung gaano nakadepende sa audio ang resulta: magkakaiba ang kilos ng mga meeting, TV at tawag sa telepono.

May ilang hosted API na gumagawa nito para sa iyo. Dokumentado sa speech-to-text guide ng OpenAI ang isang diarization model, gpt-4o-transcribe-diarize, na may diarized_json na response na ang mga segment ay may speaker, start at end na field, at opsyonal na reference clip na 2 hanggang 10 segundo para sa hanggang apat na kilalang speaker. Nakalista ng OpenAI ang model na iyon bilang deprecated, na magsasara sa Pebrero 26, 2027, at walang ibang model sa guide nito (sinuri noong 2026-11-15) na may dokumentadong speaker label.

Bakit ito mahalaga

  • Mga call center at interview. Kailangang malaman kung sino ang nagsabi ng ano para sa quality review, compliance at mga summary.
  • Kasunod na trabaho ng LLM. Mas maganda ang sagot ng summary prompt na may “Agent:” at “Customer:” na turn kaysa sa isang buong pader ng text.
  • Gastos. Dagdag na compute ang diarization, hiwalay ang presyo o kasama na, depende sa provider. Nakasaad sa speech-to-text API price index kung aling mga provider ang may dagdag na singil para dito.

Sa BroadNet Inference

Hindi nakalista ang diarization sa docs ng BroadNet. {"text": "..."} lang ang ibinabalik ng transcription endpoint, walang speaker label o timestamps. Isang praktikal na pattern: magpatakbo ng open diarizer gaya ng pyannote nang lokal, hatiin ang audio sa bawat speaker turn gamit ang ffmpeg, at ipadala ang bawat clip sa BroadNet Transcribe Arabic o BroadNet Transcribe na may nakatakdang language. Kung nasa magkahiwalay na stereo channel ang dalawang panig, hatiin na lang ang mga channel; hindi na kailangan ng model doon. Tingnan ang pag-transcribe ng mga call center recording para sa mas malawak na workflow.

Mga tanong

Sinasabi ba ng diarization ang pangalan ng nagsasalita?

Hindi. Anonymous na label gaya ng SPEAKER_00 at SPEAKER_01 ang ibinabalik nito. May ilang API, gaya ng gpt-4o-transcribe-diarize ng OpenAI (deprecated, magsasara sa Pebrero 26, 2027), na kayang itugma ang hanggang apat na speaker sa maiikling reference clip na ibibigay mo.

Gumagawa ba ng diarization ang transcription API ng BroadNet?

Hindi nakalista ang diarization sa docs ng BroadNet. Ibinabalik ng endpoint ang transcript bilang {"text": ...}, kaya magpatakbo ng hiwalay na diarization model kung kailangan mo ng speaker turns.

Paano sinusukat ang accuracy ng diarization?

Gamit ang diarization error rate (DER), na pinagsasama ang oras ng false alarm, missed speech at speaker confusion, tapos hinahati sa kabuuang oras ng reference speech. Mas mababa, mas maganda.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity