WER은 한 가지 질문에 답합니다. 누군가 말한 100단어 중 전사 결과가 몇 개를 틀렸는가?
작동 방식
모델의 전사 결과를 사람이 만든 올바른 정답 텍스트와 정렬한 뒤, 세 종류의 오류를 셉니다.
- Substitution(치환): 맞는 단어 자리에 틀린 단어가 들어간 경우
- Deletion(삭제): 말했는데 빠진 단어
- Insertion(삽입): 말하지 않았는데 들어간 단어
WER = (S + D + I) / N이며, 여기서 N은 정답 텍스트의 단어 수입니다.
예시를 보겠습니다. 정답은 “please send the invoice to our office today”(8단어)이고, 전사 결과는 “please send an invoice to office today now”입니다.
| 오류 | 개수 |
|---|---|
| “the” → “an” | 치환 1 |
| “our” 누락 | 삭제 1 |
| “now” 추가 | 삽입 1 |
WER = 3 / 8 = 0.375, 즉 37.5%입니다. Wikipedia는 WER이 단어 단위 편집 거리이며, 삽입 수에 상한이 없기 때문에 “can be larger than 1.0.”(번역: 1.0보다 클 수 있다)라고 설명합니다.
Python의 jiwer 패키지 같은 도구로 계산할 수 있습니다. 먼저 양쪽 텍스트를 정규화하세요. 대소문자, 구두점, 숫자를 숫자로 쓸지 단어로 쓸지, 그리고 아랍어라면 발음 구별 기호와 알리프·야 형태입니다. 정규화 방식만 바꿔도 점수가 눈에 띄게 달라질 수 있습니다.
왜 중요한가
- 모델 비교. WER은 리더보드와 업체 홍보 자료에서 공통으로 쓰는 지표라서, 음성 인식 API를 고를 때 첫 번째 필터가 됩니다.
- 내 오디오는 다릅니다. 같은 모델이라도 낭독 음성과 방언 전화 통화에서 점수가 크게 다를 수 있습니다. 아랍어라면 현대 표준 아랍어와 방언 오디오의 수치가 다르게 나옵니다. 내 녹음과 비슷한 오디오로 테스트하세요.
- 모든 오류가 같지는 않습니다. WER은 모든 단어를 같은 무게로 셉니다. 계좌 번호를 틀린 것도, “the” 하나가 빠진 것도 오류 하나입니다. 점수만 보지 말고 전사 결과를 직접 읽어 보세요.
BroadNet Inference에서는
BroadNet은 BroadNet Transcribe Arabic에 대한 자체 랩 측정값을 공개합니다.
| 테스트 세트 | 내용 | WER(%) |
|---|---|---|
| FLEURS-ar | 깨끗한 낭독 문장 | 3.8 |
| MASC-ar | 실제 환경의 다양한 아랍어 음성 | 21.1 |
| BroadNet 방언 세트 | 방언 음성 | 23.4 |
3.8과 23.4의 차이가 직접 테스트해야 하는 이유를 보여 줍니다. BroadNet은 이 모델의 Open Universal Arabic ASR Leaderboard 순위(37개 중 2위 (2026년 9월 기준 수치이며, 2026년 11월 15일 실시간 리더보드에서는 39개 중 4위))도 보고합니다. $5 초기 크레딧으로 아랍어 오디오 약 1,190분을 처리할 수 있어 테스트 세트에 충분합니다. 구매 가이드에 1시간짜리 테스트 계획이, 아랍어 가이드에 코드가 있습니다.