BroadRouter

아랍어 음성 인식 단어 오류율(WER) 쉽게 이해하기

BroadNet Inference 팀 · 5분 분량 · 게시

단어 오류율(WER)은 대체, 삭제, 삽입된 단어 수를 정답 전사본의 단어 수로 나눈 값이며, 낮을수록 좋습니다. 아랍어 WER은 발음 부호, 알리프와 타 마르부타 철자, 방언 때문에 부풀려지기 쉬워 비교가 어렵습니다. BroadNet은 BroadNet Transcribe Arabic의 WER을 FLEURS-ar에서 3.8, 방언 음성에서 23.4로 발표합니다.

단어 오류율(WER)은 대체, 삭제, 삽입된 단어 수를 올바른 전사본의 단어 수로 나눈 값입니다. 낮을수록 좋습니다. 아랍어 WER은 쉽게 부풀려집니다. 같은 올바른 전사본도 여러 방식으로 쓸 수 있는데, 단순하게 비교하면 철자 선택, 발음 부호, 방언 철자 하나하나를 모두 실수로 셉니다.

이 글에서는 WER이 무엇을 측정하는지, 아랍어에서 왜 다루기 까다로운지, 그리고 의미 있는 수치가 나오도록 어떻게 계산하는지 설명합니다. 테스트 세트 자체를 만드는 방법은 아랍어 방언 음성 인식을, 제공업체 선택은 아랍어 음성 인식 API 구매 가이드를 참고하세요.

단어 오류율이란 무엇인가요?

단어 오류율은 기계 전사본(가설)을 사람이 만든 올바른 전사본(정답)과 비교합니다. 한쪽을 다른 쪽으로 바꾸는 데 필요한 최소한의 단어 편집 수를 구합니다.

  • S, 대체: 단어가 다른 단어로 바뀐 경우.
  • D, 삭제: 정답에 있는 단어가 가설에 없는 경우.
  • I, 삽입: 가설에 단어가 더 들어간 경우.

그리고 다음과 같이 계산합니다.

WER = (S + D + I) / N, 여기서 N은 정답의 단어 수입니다.

WER 0.10(흔히 10으로 표기)은 정답 단어 10개당 오류가 약 1개라는 뜻입니다. 낮을수록 좋습니다. 삽입도 계산되기 때문에, 지어낸 단어로 가득한 전사본이라면 WER이 100%를 넘을 수 있습니다.

문자 오류율(CER)은 같은 공식을 문자 단위로 적용한 것입니다. 접두사 글자 하나만 틀려도 단어 전체가 틀린 것으로 계산되는 아랍어에서 유용합니다.

아랍어 WER은 왜 비교하기 어려운가요?

1. 발음 부호

아랍어의 짧은 모음은 글자 위아래에 붙는 선택적 부호(타쉬킬)로 표기합니다. 파트하, 담마, 카스라, 수쿤, 샷다, 탄윈이 있습니다. 일상적인 글에서는 이를 생략합니다. 정답에 “مَدْرَسَةٌ”가 있고 모델이 “مدرسة”라고 쓰면, 아랍어 독자라면 누구나 같은 단어로 보는데도 엄격한 비교는 대체 하나로 셉니다.

2. 철자 변형

몇몇 글자에는 흔히 쓰이고 인정되는 변형이 있습니다.

변형 예 일반적인 정규화
알리프 위의 함자 أحمد / احمد, إلى / الى أ إ آ를 ا로 변환
타 마르부타와 하 مدرسة / مدرسه ة를 ه로 변환
알리프 막수라와 야 على / علي(느슨한 표기에서) ى를 ي로 변환
알리프가 붙은 탄윈 صباحاً / صباحا 발음 부호 제거
타트윌(늘임 기호) جـمـيـل / جميل ـ 제거

3. 접어와 단어 경계

아랍어는 접속사, 전치사, 대명사를 단어에 붙여 씁니다. “وبمدرستهم”은 한 단어로 쓰지만 “그리고 그들의 학교에서”라는 뜻입니다. 모델이 공백을 넣어 “و بمدرستهم”이라고 쓰면 단어 수가 바뀌고 WER은 이를 두 번 처벌합니다. 일부 평가는 먼저 단어를 형태소로 토큰화하지만 대부분은 그렇지 않습니다. 지금 읽는 수치가 어느 쪽인지 알아 두세요.

4. 방언

현대 표준 아랍어와 달리 방언 음성에는 표준 철자가 없습니다. 이집트 화자가 “원해요”라고 말하면 “عايز”나 “عاوز”로 전사될 수 있고, 걸프 화자의 “뭐”는 “وش”나 “ويش”가 될 수 있습니다. 방언을 MSA로 “고쳐” 쓰는 전사기도 있습니다. 의미가 완벽해도 이 하나하나가 WER 오류입니다. 방언 WER이 낭독 음성 WER보다 훨씬 높은 큰 이유가 바로 이것입니다.

5. 숫자와 코드 스위칭

화자는 문장 중간에 영어로 바꿔 말하는 일이 많습니다(코드 스위칭). “٢٥”인가요, “25”인가요, “خمسة وعشرين”인가요? 영어 브랜드 이름은 라틴 문자로 쓰나요, 아랍 문자로 쓰나요? 규칙을 정하고, 정답에 적용하고, 가설도 그 규칙에 맞게 정규화하세요.

정규화는 점수를 얼마나 바꾸나요?

정답: ذهبت إلى المدرسة صباحاً(“아침에 학교에 갔다”)

가설: ذهبت الى المدرسه صباحا

정규화하지 않으면 네 단어 중 세 단어가 다릅니다(إلى/الى, المدرسة/المدرسه, صباحاً/صباحا). **WER 75%**입니다. 두 텍스트를 정규화하면 똑같아집니다. **WER 0%**입니다. 같은 전사본, 같은 품질인데 수치가 최악에서 완벽으로 바뀌었습니다. 정규화 규칙 없이 제시된 WER 수치가 알려 주는 것이 거의 없는 이유입니다.

파이썬으로 아랍어 WER은 어떻게 계산하나요?

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

비교하는 모든 모델에 대해, 정답과 가설에 정확히 같은 함수를 적용하세요. 그리고 수치와 함께 그 함수를 공개하세요.

BroadNet은 아랍어 WER을 얼마로 발표하나요?

BroadNet은 모델 카탈로그에서 BroadNet Transcribe Arabic의 실험실 측정값을 공개합니다.

테스트 세트 내용 BroadNet이 발표한 WER
FLEURS-ar 깨끗하게 낭독한 문장 3.8
MASC-ar 실제 환경의 다양한 아랍어 음성 21.1
BroadNet 방언 세트 방언 음성 23.4

BroadNet은 또한 이 모델이 Open Universal Arabic ASR Leaderboard에서 37개 중 2위 (2026년 9월 기준 수치이며, 2026년 11월 15일 실시간 리더보드에서는 39개 중 4위) 순위이고, API로 서비스할 수 있는 라이선스의 모델 중에서는 1위라고 발표합니다. 이는 BroadNet의 수치이며 독립 감사 결과가 아닙니다. 이 리더보드는 모든 모델에 같은 평가 방식을 적용하므로, 각 업체 페이지에 따로 실린 수치보다 순위를 비교하기가 낫습니다.

가장 좋은 숫자만 보지 말고 차이를 보세요. 3.8에서 23.4로의 차이는 한 모델 안에서 낭독 음성과 자연스러운 방언 사이의 격차이므로, 모든 후보를 두 종류의 오디오로 테스트하세요. 콜센터 통화든 WhatsApp 음성 메시지든 회의든, 여러분의 오디오는 그 범위 어딘가에 들어가며, 정확히 어디인지는 테스트만이 알려 줍니다.

내 오디오로 WER은 어떻게 측정하나요?

  1. 조건별로 샘플링하세요. 방언과 채널(전화, 음성 메시지, 스튜디오)별로 클립을 묶으세요. 샘플 크기와 철자 규칙은 방언 테스트 세트 방법에서 다룹니다.
  2. 후보마다 전사하세요. BroadNet에는 language=ar를 보내세요. 이 값이 없으면 아랍어가 라틴 문자로 음역되어 돌아올 수 있습니다. 코드는 아랍어 음성 인식 가이드에 있고, $5 초기 크레딧으로 오디오 약 1,190분 분량을 처리할 수 있습니다.
  3. 정규화하고 채점하세요. 위의 함수를 쓰고, 그룹별로 WER과 CER을 기록하세요.
  4. 오류를 읽으세요. 대체 오류를 빈도순으로 정렬하세요. 상위 오류가 이름, 금액, 제품 코드라면 비즈니스 영향은 점수가 보여 주는 것보다 큽니다.

WER 말고 무엇을 측정해야 하나요?

WER은 모든 단어를 똑같이 취급하지만 여러분의 제품은 그렇지 않습니다. 지원 봇에는 의도가 중요하고, 청구서 처리 흐름에는 숫자가, 컴플라이언스 팀에는 특정 문구가 중요합니다. WER 옆에 작업 지표를 추가하세요. LLM이 전사본을 읽은 뒤의 의도 정확도나, 추출한 금액의 완전 일치율 같은 것입니다. WER이 조금 더 높은 모델이라도 오류가 중요하지 않은 단어에 몰려 있다면 이길 수 있습니다.

비용 측면은 무료 음성 인식 비용 계산기에 월간 오디오 시간을 넣어 보고, 아랍어 모델과 14개 언어 모델이 어떻게 다른지는 BroadNet Transcribe vs Transcribe Arabic에서 확인하세요.

자주 묻는 질문

아랍어 WER은 어느 정도면 좋은 건가요?

깨끗하게 낭독한 음성에서는 한 자릿수도 가능합니다. BroadNet은 FLEURS-ar에서 3.8을 발표합니다. 실제 환경과 방언 오디오에서는 훨씬 높은 수치를 예상하세요. BroadNet은 MASC-ar에서 21.1, 자체 방언 세트에서 23.4를 발표합니다. 모델 비교는 내 오디오로, 같은 정규화를 적용해서 하세요.

아랍어 WER을 계산하기 전에 발음 부호를 지워야 하나요?

보통은 그렇습니다. 아랍어는 대부분 짧은 모음 부호 없이 쓰이고, 모델은 부호를 일관성 없이 붙입니다. 모음 부호가 붙은 텍스트가 제품에 필요한 경우가 아니라면 정답과 가설 양쪽에서 지우세요.

CER은 무엇이고 언제 쓰나요?

문자 오류율(CER)은 같은 계산을 단어 대신 문자 단위로 하는 것입니다. 접두사 글자 하나만 틀려도 단어 전체가 틀리는 아랍어에서는 덜 가혹하므로 WER과 함께 보면 유용합니다.

WER이 100%를 넘을 수 있나요?

네. 삽입도 오류로 계산되므로, 없는 단어를 많이 지어내는 모델은 정답의 단어 수보다 많은 오류를 낼 수 있습니다.

파이썬으로 아랍어 WER은 어떻게 계산하나요?

jiwer를 설치하고, 정답과 모델 출력을 같은 함수로 정규화한 다음(발음 부호와 타트윌 제거, 알리프·야·타 마르부타 통일, 동아랍 숫자 변환) jiwer.wer(references, hypotheses)를 호출하세요. 점수 옆에 정규화 방법을 함께 적으세요.

아랍어 WER이 영어 WER보다 높은 이유는 무엇인가요?

일부는 실제 난이도(방언, 접어, 코드 스위칭) 때문이고, 일부는 채점 방식 때문입니다. 아랍어에는 인정되는 철자 변형과 선택적인 발음 부호가 있어서 엄격하게 비교하면 그 하나하나가 오류로 계산됩니다. 두 텍스트를 정규화하면 채점 방식에서 오는 부분이 사라집니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기