Ginagawang usapan ng diarization ang isang bloke ng transcript: agent, tapos customer, tapos agent ulit.
Paano ito gumagana
Kadalasang tatlong yugto ang pinapatakbo ng isang diarization pipeline:
- Hanapin ang pananalita. Minamarkahan ng voice activity detection kung saan may nagsasalita.
- I-embed ang maiikling window. Ginagawang vector ng isang speaker-embedding model ang bawat hiwa, na kumukuha sa katangian ng boses.
- I-cluster. Pareho ang label ng mga hiwang magkahawig ang vector, at hinahawakan ang sabay na pananalita kung sinusuportahan ito ng model.
Tumatanggap ang open na pyannote speaker-diarization-3.1 pipeline sa Hugging Face ng mono audio sa 16 kHz (dina-downmix nito ang stereo at nire-resample ang ibang rate) at isinusulat ang resulta sa RTTM, isang plain-text format na may isang linya kada speaker turn. Ibinibigay ng isang RTTM line ang file, channel, oras ng simula, tagal at speaker label:
SPEAKER call42 1 0.00 4.21 <NA> <NA> SPEAKER_00 <NA> <NA>
SPEAKER call42 1 4.35 2.80 <NA> <NA> SPEAKER_01 <NA> <NA>
Iniuulat ng model card nito ang diarization error rate (DER) kada benchmark, mula 7.8% sa REPERE hanggang 50.0% sa AVA-AVD, at 11.3% sa VoxConverse. Ipinapakita ng agwat kung gaano nakadepende sa audio ang resulta: magkakaiba ang kilos ng mga meeting, TV at tawag sa telepono.
May ilang hosted API na gumagawa nito para sa iyo. Dokumentado sa speech-to-text guide ng OpenAI ang isang diarization model, gpt-4o-transcribe-diarize, na may diarized_json na response na ang mga segment ay may speaker, start at end na field, at opsyonal na reference clip na 2 hanggang 10 segundo para sa hanggang apat na kilalang speaker. Nakalista ng OpenAI ang model na iyon bilang deprecated, na magsasara sa Pebrero 26, 2027, at walang ibang model sa guide nito (sinuri noong 2026-11-15) na may dokumentadong speaker label.
Bakit ito mahalaga
- Mga call center at interview. Kailangang malaman kung sino ang nagsabi ng ano para sa quality review, compliance at mga summary.
- Kasunod na trabaho ng LLM. Mas maganda ang sagot ng summary prompt na may “Agent:” at “Customer:” na turn kaysa sa isang buong pader ng text.
- Gastos. Dagdag na compute ang diarization, hiwalay ang presyo o kasama na, depende sa provider. Nakasaad sa speech-to-text API price index kung aling mga provider ang may dagdag na singil para dito.
Sa BroadNet Inference
Hindi nakalista ang diarization sa docs ng BroadNet. {"text": "..."} lang ang ibinabalik ng transcription endpoint, walang speaker label o timestamps. Isang praktikal na pattern: magpatakbo ng open diarizer gaya ng pyannote nang lokal, hatiin ang audio sa bawat speaker turn gamit ang ffmpeg, at ipadala ang bawat clip sa BroadNet Transcribe Arabic o BroadNet Transcribe na may nakatakdang language. Kung nasa magkahiwalay na stereo channel ang dalawang panig, hatiin na lang ang mga channel; hindi na kailangan ng model doon. Tingnan ang pag-transcribe ng mga call center recording para sa mas malawak na workflow.