BroadRouter
Mulai

Character error rate (CER)

Diperbarui

Character error rate (CER) mengukur akurasi transkripsi atau OCR di tingkat karakter: jumlah substitusi, penghapusan, dan penyisipan yang dibutuhkan untuk mengubah output menjadi teks referensi, dibagi jumlah karakter dalam referensi. Makin rendah makin baik, dan 0 berarti cocok sempurna.

Disebut juga: CER, tingkat kesalahan karakter, metrik CER, cara menghitung CER, character error rate

WER bertanya berapa kata yang salah. CER bertanya berapa huruf yang salah, dan untuk bahasa Arab itu sering kali pertanyaan yang lebih adil.

Cara kerjanya

CER memakai gagasan edit distance yang sama dengan word error rate, tetapi diterapkan pada karakter. Metric card Hugging Face memberikan rumusnya:

CER = (S + D + I) / N, dengan S substitusi, D penghapusan, I penyisipan, dan N jumlah karakter dalam referensi (N = S + D + C, dengan C karakter yang benar).

Contoh dalam bahasa Arab. Referensinya “وبالكتاب” (“dan dengan buku itu”, satu kata, 8 huruf). Transkripnya “وبلكتاب”, kurang satu alif:

Metrik Kesalahan Unit referensi Skor
WER 1 kata salah 1 kata 1,0 (100%)
CER 1 huruf terhapus 8 karakter 0,125 (12,5%)

Satu huruf yang hilang membuat seluruh kata salah menurut WER. CER menunjukkan transkripnya hampir benar.

Di Python, paket jiwer menghitungnya dengan jiwer.cer(reference, hypothesis), dan jiwer.process_characters juga mengembalikan alignment-nya. Normalisasi kedua sisi lebih dulu, seperti untuk WER: tanda baca, spasi, dan untuk bahasa Arab, harakat serta bentuk alif atau ya. Lihat normalisasi teks Arab.

Kenapa ini penting

  • Morfologi bahasa Arab. Bahasa Arab menempelkan kata sambung, kata depan, dan kata ganti pada kata sebagai klitik, sehingga satu kata bisa memuat apa yang dalam bahasa Inggris ditulis tiga atau empat kata. Satu huruf prefiks yang salah menghabiskan satu kata penuh di WER. CER menimbangnya sebagai satu karakter.
  • Bahasa tanpa spasi. WER butuh batas kata. Kartu Hugging Face mengatakan CER berguna “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (terjemahan: terutama untuk dataset multibahasa di mana WER tidak cocok karena keragaman bahasa.)
  • Jenis kesalahan. Model dengan WER tinggi tetapi CER rendah sebenarnya hampir benar menebak kata: selip ejaan, hamzah, atau klitik yang bisa diperbaiki normalisasi atau langkah koreksi. CER tinggi berarti model melewatkan kata atau konten secara utuh.
  • Juga untuk OCR. Metrik yang sama menilai teks yang dibaca dari gambar, jadi berguna saat Anda membandingkan pipeline OCR.

Metric card itu juga memperingatkan bahwa CER tidak memberi tahu mengapa kesalahan terjadi. Baca contoh transkrip di samping skornya.

Di BroadNet Inference

BroadNet memublikasikan WER, bukan CER, untuk BroadNet Transcribe Arabic dan BroadNet Transcribe. Untuk mendapatkan CER, transkripsikan set uji dari rekaman Anda sendiri dan nilai sendiri. Artikel penjelasan WER bahasa Arab berisi fungsi normalisasi dan skrip jiwer yang mencetak WER dan CER sekaligus, dan panduan speech-to-text bahasa Arab berisi kode request-nya. Selalu kirim language=ar: tanpa itu, bahasa Arab bisa kembali dalam transliterasi huruf Latin, yang merusak kedua skor.

Kesalahan umum

  • Menghitung spasi secara tidak konsisten. Tentukan apakah spasi dihitung sebagai karakter dan terapkan aturan yang sama pada setiap model yang Anda bandingkan.
  • Membandingkan CER dengan WER milik orang lain. Keduanya skala yang berbeda. Bandingkan yang sejenis.

Pertanyaan umum

Bisakah CER lebih dari 100%?

Bisa. Metric card Hugging Face mencatat bahwa CER tidak selalu berada di antara 0 dan 1, terutama jika transkrip punya banyak penyisipan, karena penyebutnya hanya menghitung karakter referensi.

Untuk bahasa Arab, sebaiknya saya melaporkan CER atau WER?

Keduanya. WER adalah angka yang dikutip leaderboard dan vendor, jadi Anda butuh WER untuk membandingkan. CER menunjukkan apakah kesalahannya berupa kata yang salah seluruhnya atau hanya satu huruf atau klitik di sana-sini, hal yang disembunyikan WER.

Apakah BroadNet memublikasikan CER untuk model transkripsinya?

Tidak. BroadNet hanya memublikasikan WER. Untuk mendapatkan CER, nilai set uji Anda sendiri dengan alat seperti jiwer.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity