아랍어에서 검색 증강 생성(RAG)이 제대로 작동하게 하려면, 문서와 쿼리를 같은 표기 규칙으로 정규화하고, 문단 단위로 청킹하고, 아랍어 키워드 분석기와 다국어 임베딩 모델로 함께 검색하고, LLM이 검색된 구절만 근거로 출처를 달아 답하게 하세요.
최초의 RAG 논문에서 나온 패턴은 먼저 검색하고 그다음 생성하는 것입니다. 아랍어 RAG의 실패는 대부분 앞쪽 절반에서 일어납니다. 사용자는 “الفاتوره”를 입력했는데 색인에는 “الفاتورة”가 있고, 정책 문서에는 “إلغاء”라고 쓰여 있는데 사용자는 “الغاء”라고 쓰며, 임베딩 모델은 주로 영어로 학습되어 있습니다. 검색을 고치면 LLM 쪽은 대체로 알아서 해결됩니다.
아랍어 RAG 파이프라인은 어떻게 생겼나요?
- PDF, 웹 페이지, 헬프 센터 문서에서 텍스트를 추출합니다. 스캔한 아랍어 PDF는 아랍어 OCR과 비전 LLM 비교를 참고하세요.
- 색인용으로 텍스트 사본을 정규화합니다.
- 제목과 문단 같은 구조를 기준으로 청킹합니다.
- 키워드 색인과 벡터 색인, 두 가지로 색인합니다.
- 정규화한 쿼리로 양쪽에서 검색하고, 병합한 뒤 재순위화합니다.
- 상위 구절을 근거로 출처를 달아 답을 생성합니다.
검색용 아랍어 텍스트는 어떻게 정규화하나요?
아랍어는 같은 단어를 여러 방식으로 쓸 수 있고, 사용자는 발음 구별 기호나 함자를 일관되게 입력하는 경우가 드뭅니다. 색인용 사본과 모든 쿼리를 같은 함수로 정규화하세요.
| 규칙 | 문자 | 이유 |
|---|---|---|
| 알리프 통일 | أ إ آ ٱ → ا | 입력할 때 함자를 자주 생략함 |
| 알리프 막수라 | ى → ي | 이집트식 입력과 느슨한 표기에서 흔함 |
| 타 마르부타 | ة → ه | 사용자가 단어 끝에 ه를 입력함 |
| 발음 구별 기호 제거 | U+064B~U+0652, U+0670 | 대부분의 텍스트와 쿼리에 모음 부호가 없음 |
| 타트윌 제거 | ـ (U+0640) | 장식용 늘임 문자 |
| 숫자 | ٠–٩ → 0–9 | 어느 형태의 숫자든 일치시킴 |
아랍어 텍스트 정규화 도구로 내 텍스트에 각 옵션을 시험해 보세요. 이 도구는 같은 동작을 하는 Python 함수도 만들어 줍니다.
import re
_DIAC = re.compile(r"[ً-ْٰ]")
def normalise(text: str) -> str:
text = _DIAC.sub("", text).replace("ـ", "")
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
코드 포인트는 Unicode 아랍어 차트에 있습니다. 주의할 점이 두 가지 있습니다.
- 정규화한 텍스트를 절대 보여 주지 마세요. 원문을 옆에 함께 저장하고, 표시와 인용, LLM 전송에는 원문을 쓰세요. 정규화한 아랍어는 독자에게 맞춤법이 틀린 것처럼 보입니다.
- 일부 병합은 뜻을 잃습니다. ة → ه는 단어 몇 쌍을 합치고, ى → ي는 “على”(위에)와 “علي”(알리)를 합칩니다. 검색 재현율을 생각하면 보통 감수할 만한 거래지만, 내 쿼리로 테스트하세요.
같은 규칙은 아랍어 음성 인식 정확도 측정에서도 핵심이므로, 스택 전체에서 함수 하나를 재사용할 수 있습니다.
아랍어 문서는 어떻게 청킹하나요?
- 구조를 기준으로 나누세요. 제목, 계약서의 번호 매긴 조항(المادة ١، المادة ٢), 문단 경계가 자연스러운 경계입니다.
- 청크당 수백 단어, 그리고 한두 문장 정도 겹치게 하세요. 아랍어 단어에는 영어 단어보다 형태소가 많이 들어 있어서, 청크 하나가 길이에 비해 더 많은 의미를 담습니다.
- 문장 경계: . ؟ ! 와 아랍어 쉼표 ، 로 나누는 것은 최후의 수단으로만 쓰세요. 아랍어 텍스트는 و로 이어진 긴 문장이 많아서 문단 단위로 나누는 편이 안전합니다.
- 맥락을 붙이세요. 청크마다 문서 제목과 섹션 제목을 아랍어로 앞에 붙이면, “تُطبَّق هذه الرسوم”(이 수수료가 적용됩니다)라고만 쓰인 청크도 어떤 수수료인지 알 수 있습니다.
RAG 청킹 계산기는 청크 크기, 겹침, top-k로 청크 수, 쿼리당 토큰, 월 비용을 계산해 줍니다.
키워드 검색과 임베딩을 왜 함께 쓰나요?
키워드 검색
아랍어 형태론은 단순한 키워드 일치를 무력화합니다. كتاب, الكتاب, بالكتاب, وكتابه, كتب는 모두 “책”과 관련된 단어입니다. 아랍어를 처리하는 분석기를 쓰세요. Elasticsearch에는 아랍어 불용어, 숫자 정규화, 아랍어 정규화, 아랍어 어간 추출기를 연결한 아랍어 언어 분석기가 들어 있어서, الكتاب나 وكتاب 같은 접두사 붙은 형태가 더 자주 일치합니다. 의존하기 전에 내 어휘에서 무엇을 합치는지 확인하세요.
임베딩
임베딩 모델은 텍스트를 벡터로 바꿔서, 겹치는 단어가 없어도 뜻이 비슷한 구절끼리 가까이 놓이게 합니다. 아랍어에는 다국어 모델을 골라 테스트하세요.
- 여러 언어로 학습한 모델을 우선하세요. 예를 들어 BGE M3는 저자들이 100개 이상의 작업 언어를 지원한다고 설명합니다. 영어 전용 모델은 아랍어 벡터 품질이 나쁩니다.
- 사용자가 아랍어 문서에 대해 영어로 묻거나 그 반대라면 언어 간 검색을 테스트하세요.
- 원문을 임베딩하든 정규화한 텍스트를 임베딩하든, 문서와 쿼리 사이에서 일관되게 하세요. 둘 다 테스트하세요. 결과는 모델마다 다릅니다.
BroadNet Inference는 임베딩 엔드포인트를 제공하지 않습니다. 문서화된 엔드포인트는 채팅 완성과 오디오 전사입니다. 신뢰하는 임베딩 제공업체를 쓰거나 오픈 다국어 임베딩 모델을 벡터 데이터베이스와 함께 직접 호스팅하고, 생성에는 BroadNet을 쓰세요. 임베딩 비용 계산기로 제공업체별 색인 비용과 쿼리 비용을 비교할 수 있습니다.
병합과 재순위화
두 검색을 모두 실행하고, 상호 순위 융합(reciprocal rank fusion, 목록마다 1 / (k + 순위)를 더해 문서 점수를 매김)으로 결과를 병합해 상위 10~30개 구절을 남기세요. 재순위화 모델이나 간단한 LLM 관련성 확인으로 더 줄일 수 있지만, 긴 컨텍스트 모델이라면 생략해도 되는 경우가 많습니다.
출처를 단 답변은 어떻게 생성하나요?
모델에 id가 붙은 구절을 주고, 그 구절만 근거로 답하라고 요청하세요.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def answer(question: str, passages: list[dict]) -> str:
context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
"اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
"إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
r = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
max_tokens=4000,
messages=[{"role": "system", "content": system},
{"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
)
return r.choices[0].message.content
아랍어 시스템 프롬프트의 뜻은 다음과 같습니다. “사용자의 질문에 쉬운 현대 표준 아랍어로, 첨부된 구절만 근거로 답하세요. 각 사실 뒤에 대괄호로 구절 번호를 인용하세요. 구절에서 답을 찾을 수 없으면 분명히 그렇게 말하세요.” 영어로 지시해도 똑같이 잘 작동합니다. 중요한 것은 구절만 근거로 답하고 출처를 달라는 규칙입니다.
구절은 질문보다 앞에 두세요. 같은 문서가 여러 요청에 나온다면 프롬프트 앞부분에 같은 순서로 두어야 캐시된 입력 가격이 적용됩니다. 캐시된 입력 토큰을 참고하세요.
어떤 모델을 쓸까요?
| 모델 | 컨텍스트 | 이유 |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | BroadNet에서 이 세 모델 중 캐시된 입력 요금이 가장 낮음(100만 토큰당 $0.0055), 많은 구절을 넣을 여유, 정액 플랜 이용 가능 |
| GLM 5.3 | 1,048,576 | 에이전트형 검색을 위한 도구 호출과 구조화된 출력 |
| Qwen3.8 27B | 262,144 | BroadNet이 아랍어로 테스트함: 자연스러운 글쓰기, 걸프와 이집트 방언 이해 |
100만 토큰 컨텍스트라면 넉넉하게, 예를 들어 구절 5개 대신 50개를 검색하고 모델이 고르게 할 수 있습니다. 검색이 정답 구절을 12위에 놓았을 때 생기는 피해가 줄어듭니다. 문서가 적다면 검색이 아예 필요 없을 수도 있습니다. 긴 컨텍스트와 RAG 비교를 보고, 컨텍스트 윈도우 계산기로 내 코퍼스가 들어가는지 확인하세요. 모든 모델의 가격은 가격 페이지에 있습니다.
아랍어 RAG는 어떻게 평가하나요?
- 사용자가 실제로 입력하는 MSA, 방언, 영어가 섞인 비율대로 실제 질문 50~100개를 작성하세요.
- 질문마다 답이 들어 있는 구절을 표시하세요.
- 먼저 검색을 측정하세요. 정답 구절이 상위 10개 안에 있나요? 키워드만, 임베딩만, 하이브리드를 정규화 적용 여부별로 비교하세요.
- 그다음 답변을 측정하세요. 정확한지, 출처가 달렸는지, 답이 없을 때 “찾을 수 없음”이라고 하는지 봅니다.
- 맞춤법이 틀린 쿼리와 방언 쿼리를 일부러 넣으세요. 사용자는 “أين الفاتورة”가 아니라 “وين الفاتوره”(걸프/레반트 방언: 청구서 어디 있어요)라고 씁니다.
생성 모델을 바꾸기 전에 검색부터 고치세요. 정답 구절이 프롬프트에 들어가지 않으면 어떤 모델도 그것을 인용할 수 없습니다.

