BroadRouter
Magsimula

Character error rate (CER)

Na-update

Sinusukat ng character error rate (CER) ang accuracy ng transcription o OCR sa antas ng character: ang mga substitution, deletion at insertion na kailangan para maging reference text ang output, hinati sa bilang ng character sa reference. Mas mababa, mas maganda, at 0 ang perpektong match.

Tinatawag ding: CER, character error rate, error rate kada character

Tinatanong ng WER kung ilang salita ang mali. Tinatanong ng CER kung ilang titik ang mali, na kadalasang mas patas na tanong para sa Arabic.

Paano ito gumagana

Parehong ideya ng edit distance ang gamit ng CER at ng word error rate, pero sa mga character. Ibinibigay ng metric card ng Hugging Face ang formula:

CER = (S + D + I) / N, kung saan S ang substitutions, D ang deletions, I ang insertions at N ang bilang ng character sa reference (N = S + D + C, kung saan C ang mga tamang character).

Isang halimbawa sa Arabic. Ang reference ay “وبالكتاب” (“at sa pamamagitan ng libro”, isang salita, 8 titik). Ang transcript ay “وبلكتاب”, kulang ng isang alef:

Metric Mga error Mga unit sa reference Score
WER 1 maling salita 1 salita 1.0 (100%)
CER 1 nawalang titik 8 character 0.125 (12.5%)

Sa WER, mali na ang buong salita dahil sa isang nawawalang titik. Ipinapakita ng CER na halos tama ang transcript.

Sa Python, kinukuwenta ito ng jiwer package gamit ang jiwer.cer(reference, hypothesis), at ibinabalik din ng jiwer.process_characters ang alignment. I-normalize muna ang dalawang panig, gaya sa WER: punctuation, spacing, at para sa Arabic, diacritics at mga anyo ng alef o yaa. Tingnan ang Arabic text normalization.

Bakit ito mahalaga

  • Morphology ng Arabic. Idinidikit ng Arabic ang mga conjunction, preposition at pronoun sa salita bilang clitic, kaya puwedeng dalhin ng isang salita ang isinusulat ng English bilang tatlo o apat. Isang buong salita ang kapalit ng isang maling titik sa prefix sa WER. Isang character lang ang bigat nito sa CER.
  • Mga wikang walang espasyo. Kailangan ng WER ng hangganan ng salita. Ayon sa card ng Hugging Face, kapaki-pakinabang ang CER “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (Salin ng BroadRouter: “lalo na para sa mga multilingual na dataset kung saan hindi angkop ang WER dahil sa dami ng wika.”)
  • Uri ng error. Kapag mataas ang WER pero mababa ang CER, halos tama ang mga salita ng model: mga slip sa spelling, hamza o clitic na puwedeng maayos ng normalization o ng correction step. Kapag mataas ang CER, buong salita o nilalaman ang nawawala sa model.
  • OCR din. Parehong metric ang nagsi-score sa text na binasa mula sa mga larawan, kaya kapaki-pakinabang ito kapag nagkukumpara ka ng mga OCR pipeline.

Nagbababala rin ang metric card na hindi sinasabi ng CER kung bakit nangyayari ang mga error. Basahin ang mga sample na transcript kasabay ng score.

Sa BroadNet Inference

WER, hindi CER, ang inilalathala ng BroadNet para sa BroadNet Transcribe Arabic at BroadNet Transcribe. Para makakuha ng CER, i-transcribe ang test set ng sarili mong mga recording at ikaw mismo ang mag-score. May normalization function at jiwer script na nagpi-print ng WER at CER sa post na Arabic WER explained, at nasa gabay sa Arabic speech-to-text ang code ng request. Laging ipadala ang language=ar: kapag wala ito, puwedeng bumalik ang Arabic na naka-transliterate sa Latin na titik, na sumisira sa parehong score.

Mga karaniwang pagkakamali

  • Hindi pare-parehong pagbibilang ng espasyo. Magpasya kung bibilangin bilang character ang mga espasyo at gamitin ang parehong rule sa bawat model na ikinukumpara mo.
  • Pagkumpara ng CER sa WER ng iba. Magkaibang scale ang mga ito. Ikumpara ang magkauri.

Mga tanong

Puwede bang lumampas sa 100% ang CER?

Oo. Ayon sa metric card ng Hugging Face, hindi laging nasa pagitan ng 0 at 1 ang CER, lalo na kapag maraming insertion ang transcript, dahil character ng reference lang ang binibilang sa denominator.

CER ba o WER ang dapat kong i-report para sa Arabic?

Pareho. WER ang binabanggit ng mga leaderboard at vendor, kaya kailangan mo ito para makapagkumpara. Ipinapakita ng CER kung buong salita ang mali o paminsan-minsang titik o clitic lang, na itinatago ng WER.

Naglalathala ba ang BroadNet ng CER para sa mga transcription model nito?

Hindi. WER lang ang inilalathala ng BroadNet. Para makakuha ng CER, i-score ang sarili mong test set gamit ang tool gaya ng jiwer.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity