---
title: "아랍어 RAG: 텍스트 정규화, 청킹, 임베딩 | BroadRouter"
description: "아랍어 문서용 검색 증강 생성(RAG): 알리프, 야, 타 마르부타 정규화, 적절한 청킹, 다국어 임베딩 선택, 키워드 검색 결합까지 정리했습니다."
url: https://broadrouter.com/ko/blog/arabic-rag-search/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/arabic-rag-search/) (2026-11-14 업데이트).

# 아랍어 RAG: 제대로 작동하는 정규화, 청킹, 검색

BroadNet Inference 팀 · 6분 분량 · 게시 2026-11-14

아랍어 RAG를 제대로 작동시키려면 색인 전에 텍스트를 정규화하고(알리프 형태, 야와 알리프 막수라, 타 마르부타 통일, 발음 구별 기호와 타트윌 제거), 문단 단위로 청킹하고, 다국어 임베딩 모델과 키워드 검색을 함께 쓰고, 긴 컨텍스트 LLM이 검색된 구절만 근거로 출처를 달아 답하게 하세요. 쿼리에도 같은 정규화를 적용하세요.

## 핵심 요약

-   문서와 쿼리를 같은 방식으로 정규화하세요. أ/إ/آ는 ا로, ى는 ي로, ة는 ه로 바꾸고, 발음 구별 기호와 타트윌은 제거합니다.
-   표시용으로는 원문을 보관하고, 색인에는 정규화한 사본을 쓰세요.
-   아랍어 분석기를 쓴 키워드 검색과 다국어 임베딩을 결합한 뒤, 내 쿼리로 하이브리드와 각 방식 단독을 비교 테스트하세요.
-   아랍어 쿼리로 테스트한 다국어 임베딩 모델을 고르세요. BroadNet Inference는 임베딩 엔드포인트를 제공하지 않습니다.
-   긴 컨텍스트 모델이면 넉넉하게 검색할 수 있습니다. DeepSeek V4.1 Flash와 GLM 5.3은 1,048,576 토큰을 받습니다.

**이 페이지의 내용**

1.  아랍어 RAG 파이프라인은 어떻게 생겼나요?
2.  검색용 아랍어 텍스트는 어떻게 정규화하나요?
3.  아랍어 문서는 어떻게 청킹하나요?
4.  키워드 검색과 임베딩을 왜 함께 쓰나요?
5.  출처를 단 답변은 어떻게 생성하나요?
6.  아랍어 RAG는 어떻게 평가하나요?

_[image: A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."]_

아랍어에서 [검색 증강 생성](https://broadrouter.com/ko/glossary/rag/)(RAG)이 제대로 작동하게 하려면, 문서와 쿼리를 같은 표기 규칙으로 정규화하고, 문단 단위로 청킹하고, 아랍어 키워드 분석기와 다국어 임베딩 모델로 함께 검색하고, LLM이 검색된 구절만 근거로 출처를 달아 답하게 하세요.

[최초의 RAG 논문](https://arxiv.org/abs/2005.11401)에서 나온 패턴은 먼저 검색하고 그다음 생성하는 것입니다. 아랍어 RAG의 실패는 대부분 앞쪽 절반에서 일어납니다. 사용자는 “الفاتوره”를 입력했는데 색인에는 “الفاتورة”가 있고, 정책 문서에는 “إلغاء”라고 쓰여 있는데 사용자는 “الغاء”라고 쓰며, 임베딩 모델은 주로 영어로 학습되어 있습니다. 검색을 고치면 LLM 쪽은 대체로 알아서 해결됩니다.

## 아랍어 RAG 파이프라인은 어떻게 생겼나요?

1.  PDF, 웹 페이지, 헬프 센터 문서에서 텍스트를 **추출**합니다. 스캔한 아랍어 PDF는 [아랍어 OCR과 비전 LLM 비교](https://broadrouter.com/ko/blog/arabic-ocr-vision-llm/)를 참고하세요.
2.  색인용으로 텍스트 사본을 **정규화**합니다.
3.  제목과 문단 같은 구조를 기준으로 **청킹**합니다.
4.  키워드 색인과 벡터 색인, 두 가지로 **색인**합니다.
5.  정규화한 쿼리로 양쪽에서 **검색**하고, 병합한 뒤 재순위화합니다.
6.  상위 구절을 근거로 출처를 달아 답을 **생성**합니다.

## 검색용 아랍어 텍스트는 어떻게 정규화하나요?

아랍어는 같은 단어를 여러 방식으로 쓸 수 있고, 사용자는 발음 구별 기호나 함자를 일관되게 입력하는 경우가 드뭅니다. 색인용 사본과 모든 쿼리를 같은 함수로 정규화하세요.

| 규칙 | 문자 | 이유 |
| --- | --- | --- |
| 알리프 통일 | أ إ آ ٱ → ا | 입력할 때 함자를 자주 생략함 |
| 알리프 막수라 | ى → ي | 이집트식 입력과 느슨한 표기에서 흔함 |
| 타 마르부타 | ة → ه | 사용자가 단어 끝에 ه를 입력함 |
| 발음 구별 기호 제거 | U+064B~U+0652, U+0670 | 대부분의 텍스트와 쿼리에 모음 부호가 없음 |
| 타트윌 제거 | ـ (U+0640) | 장식용 늘임 문자 |
| 숫자 | ٠–٩ → 0–9 | 어느 형태의 숫자든 일치시킴 |

[아랍어 텍스트 정규화 도구](https://broadrouter.com/tools/arabic-text-normalizer/)로 내 텍스트에 각 옵션을 시험해 보세요. 이 도구는 같은 동작을 하는 Python 함수도 만들어 줍니다.

```python
import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
```

코드 포인트는 [Unicode 아랍어 차트](https://www.unicode.org/charts/PDF/U0600.pdf)에 있습니다. 주의할 점이 두 가지 있습니다.

-   **정규화한 텍스트를 절대 보여 주지 마세요.** 원문을 옆에 함께 저장하고, 표시와 인용, LLM 전송에는 원문을 쓰세요. 정규화한 아랍어는 독자에게 맞춤법이 틀린 것처럼 보입니다.
-   **일부 병합은 뜻을 잃습니다.** ة → ه는 단어 몇 쌍을 합치고, ى → ي는 “على”(위에)와 “علي”(알리)를 합칩니다. 검색 재현율을 생각하면 보통 감수할 만한 거래지만, 내 쿼리로 테스트하세요.

같은 규칙은 [아랍어 음성 인식 정확도 측정](https://broadrouter.com/ko/blog/arabic-asr-wer-explained/)에서도 핵심이므로, 스택 전체에서 함수 하나를 재사용할 수 있습니다.

## 아랍어 문서는 어떻게 청킹하나요?

-   **구조를 기준으로 나누세요.** 제목, 계약서의 번호 매긴 조항(المادة ١، المادة ٢), 문단 경계가 자연스러운 경계입니다.
-   **청크당 수백 단어,** 그리고 한두 문장 정도 겹치게 하세요. 아랍어 단어에는 영어 단어보다 형태소가 많이 들어 있어서, 청크 하나가 길이에 비해 더 많은 의미를 담습니다.
-   **문장 경계:** . ؟ ! 와 아랍어 쉼표 ، 로 나누는 것은 최후의 수단으로만 쓰세요. 아랍어 텍스트는 و로 이어진 긴 문장이 많아서 문단 단위로 나누는 편이 안전합니다.
-   **맥락을 붙이세요.** 청크마다 문서 제목과 섹션 제목을 아랍어로 앞에 붙이면, “تُطبَّق هذه الرسوم”(이 수수료가 적용됩니다)라고만 쓰인 청크도 어떤 수수료인지 알 수 있습니다.

[RAG 청킹 계산기](https://broadrouter.com/tools/rag-chunking-calculator/)는 청크 크기, 겹침, top-k로 청크 수, 쿼리당 토큰, 월 비용을 계산해 줍니다.

## 키워드 검색과 임베딩을 왜 함께 쓰나요?

### 키워드 검색

아랍어 형태론은 단순한 키워드 일치를 무력화합니다. كتاب, الكتاب, بالكتاب, وكتابه, كتب는 모두 “책”과 관련된 단어입니다. 아랍어를 처리하는 분석기를 쓰세요. Elasticsearch에는 아랍어 불용어, 숫자 정규화, 아랍어 정규화, 아랍어 어간 추출기를 연결한 [아랍어 언어 분석기](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html)가 들어 있어서, الكتاب나 وكتاب 같은 접두사 붙은 형태가 더 자주 일치합니다. 의존하기 전에 내 어휘에서 무엇을 합치는지 확인하세요.

### 임베딩

[임베딩 모델](https://broadrouter.com/ko/glossary/embeddings/)은 텍스트를 벡터로 바꿔서, 겹치는 단어가 없어도 뜻이 비슷한 구절끼리 가까이 놓이게 합니다. 아랍어에는 다국어 모델을 골라 테스트하세요.

-   **여러 언어로 학습한 모델을 우선하세요.** 예를 들어 [BGE M3](https://arxiv.org/abs/2402.03216)는 저자들이 100개 이상의 작업 언어를 지원한다고 설명합니다. 영어 전용 모델은 아랍어 벡터 품질이 나쁩니다.
-   사용자가 아랍어 문서에 대해 영어로 묻거나 그 반대라면 **언어 간 검색을 테스트하세요.**
-   **원문을 임베딩하든 정규화한 텍스트를 임베딩하든, 문서와 쿼리 사이에서 일관되게 하세요.** 둘 다 테스트하세요. 결과는 모델마다 다릅니다.

BroadNet Inference는 임베딩 엔드포인트를 제공하지 않습니다. 문서화된 엔드포인트는 채팅 완성과 오디오 전사입니다. 신뢰하는 임베딩 제공업체를 쓰거나 오픈 다국어 임베딩 모델을 [벡터 데이터베이스](https://broadrouter.com/ko/glossary/vector-database/)와 함께 직접 호스팅하고, 생성에는 BroadNet을 쓰세요. [임베딩 비용 계산기](https://broadrouter.com/tools/embedding-cost-calculator/)로 제공업체별 색인 비용과 쿼리 비용을 비교할 수 있습니다.

### 병합과 재순위화

두 검색을 모두 실행하고, 상호 순위 융합(reciprocal rank fusion, 목록마다 1 / (k + 순위)를 더해 문서 점수를 매김)으로 결과를 병합해 상위 10~30개 구절을 남기세요. 재순위화 모델이나 간단한 LLM 관련성 확인으로 더 줄일 수 있지만, 긴 컨텍스트 모델이라면 생략해도 되는 경우가 많습니다.

## 출처를 단 답변은 어떻게 생성하나요?

모델에 id가 붙은 구절을 주고, 그 구절만 근거로 답하라고 요청하세요.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content
```

아랍어 시스템 프롬프트의 뜻은 다음과 같습니다. “사용자의 질문에 쉬운 현대 표준 아랍어로, 첨부된 구절만 근거로 답하세요. 각 사실 뒤에 대괄호로 구절 번호를 인용하세요. 구절에서 답을 찾을 수 없으면 분명히 그렇게 말하세요.” 영어로 지시해도 똑같이 잘 작동합니다. 중요한 것은 구절만 근거로 답하고 출처를 달라는 규칙입니다.

구절은 질문보다 앞에 두세요. 같은 문서가 여러 요청에 나온다면 프롬프트 앞부분에 같은 순서로 두어야 캐시된 입력 가격이 적용됩니다. [캐시된 입력 토큰](https://broadrouter.com/ko/blog/cached-input-tokens-explained/)을 참고하세요.

### 어떤 모델을 쓸까요?

| 모델 | 컨텍스트 | 이유 |
| --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/) | 1,048,576 | BroadNet에서 이 세 모델 중 캐시된 입력 요금이 가장 낮음(100만 토큰당 $0.0055), 많은 구절을 넣을 여유, 정액 플랜 이용 가능 |
| [GLM 5.3](https://broadrouter.com/ko/models/glm-5.3/) | 1,048,576 | 에이전트형 검색을 위한 도구 호출과 구조화된 출력 |
| [Qwen3.8 27B](https://broadrouter.com/ko/models/qwen3.8-27b/) | 262,144 | BroadNet이 아랍어로 테스트함: 자연스러운 글쓰기, 걸프와 이집트 방언 이해 |

100만 토큰 컨텍스트라면 넉넉하게, 예를 들어 구절 5개 대신 50개를 검색하고 모델이 고르게 할 수 있습니다. 검색이 정답 구절을 12위에 놓았을 때 생기는 피해가 줄어듭니다. 문서가 적다면 검색이 아예 필요 없을 수도 있습니다. [긴 컨텍스트와 RAG 비교](https://broadrouter.com/ko/blog/long-context-vs-rag/)를 보고, [컨텍스트 윈도우 계산기](https://broadrouter.com/tools/context-window-calculator/)로 내 코퍼스가 들어가는지 확인하세요. 모든 모델의 가격은 [가격 페이지](https://broadrouter.com/ko/pricing/)에 있습니다.

## 아랍어 RAG는 어떻게 평가하나요?

1.  사용자가 실제로 입력하는 MSA, 방언, 영어가 섞인 비율대로 실제 질문 50~100개를 작성하세요.
2.  질문마다 답이 들어 있는 구절을 표시하세요.
3.  먼저 검색을 측정하세요. 정답 구절이 상위 10개 안에 있나요? 키워드만, 임베딩만, 하이브리드를 정규화 적용 여부별로 비교하세요.
4.  그다음 답변을 측정하세요. 정확한지, 출처가 달렸는지, 답이 없을 때 “찾을 수 없음”이라고 하는지 봅니다.
5.  맞춤법이 틀린 쿼리와 방언 쿼리를 일부러 넣으세요. 사용자는 “أين الفاتورة”가 아니라 “وين الفاتوره”(걸프/레반트 방언: 청구서 어디 있어요)라고 씁니다.

생성 모델을 바꾸기 전에 검색부터 고치세요. 정답 구절이 프롬프트에 들어가지 않으면 어떤 모델도 그것을 인용할 수 없습니다.

관련 무료 도구 (영어)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[임베딩(embedding)](https://broadrouter.com/ko/glossary/embeddings/)

임베딩은 모델이 텍스트, 이미지 등의 입력을 표현하기 위해 만드는 부동소수점 숫자 목록(벡터)입니다. 의미가 비슷한 입력은 서로 가까운 벡터를 얻으므로, 벡터 사이의 거리로 검색 결과의 순위를 매기거나 문서를 군집화하거나 관련 항목을 찾을 수 있습니다.

[도구 호출(tool calling)](https://broadrouter.com/ko/glossary/tool-calling/)

도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 모델이 개발자가 정의한 함수를 실행해 달라는 구조화된 요청을 JSON 인자와 함께 반환하는 LLM API 기능입니다. 함수는 애플리케이션이 실행하고 그 결과를 다시 보냅니다. 모델이 직접 코드를 실행하지는 않습니다.

[캐시된 입력 토큰(cached input tokens)](https://broadrouter.com/ko/glossary/cached-input-tokens/)

캐시된 입력 토큰은 LLM 제공업체가 최근에 처리해 두었다가 다시 계산하지 않고 캐시에서 재사용할 수 있는 프롬프트 토큰입니다. 보통 시스템 프롬프트나 문서처럼 반복되는 접두부(prefix)이며, 제공업체는 이를 새 입력 토큰보다 낮은 단가로 과금합니다.

[리랭킹(reranking)](https://broadrouter.com/ko/glossary/reranking/)

리랭킹(reranking)은 검색의 두 번째 단계로, 더 정확하지만 느린 모델(주로 크로스 인코더)이 1차 검색에서 나온 질의와 후보 문서 쌍마다 점수를 매겨 순서를 다시 정합니다. 그래서 가장 관련성 높은 몇 개만 언어 모델에 전달됩니다.

[아랍어 텍스트 정규화(Arabic text normalization)](https://broadrouter.com/ko/glossary/arabic-text-normalization/)

아랍어 텍스트 정규화는 같은 단어의 여러 표기를 매칭 전에 하나의 형태로 바꾸는 단계입니다. 발음 구별 기호와 타트윌을 지우고, 알리프 형태를 통일하며, ى를 ي로, ة를 ه로 바꾸는 경우가 많습니다. 화면에 보여 줄 텍스트가 아니라 검색 키와 평가에 적용합니다.

[청킹(chunking, RAG)](https://broadrouter.com/ko/glossary/chunking/)

청킹(chunking)은 검색 파이프라인에서 문서를 임베딩하고 인덱싱하기 전에 청크라고 부르는 작은 조각으로 나누는 단계입니다. 청크 크기는 조각 하나에 담기는 텍스트 양을 정하고, 청크 오버랩은 이웃한 청크 사이에 일부 텍스트를 반복해 경계에서 잘린 내용이 사라지지 않게 합니다.

[구조화된 출력(Structured output)](https://broadrouter.com/ko/glossary/structured-output/)

구조화된 출력(structured output)은 모델의 응답을 개발자가 지정한 형식, 주로 JSON Schema에 맞추도록 제한해 코드가 안정적으로 파싱할 수 있게 하는 LLM API 기능입니다. 유효한 JSON만 보장하고 특정 구조는 보장하지 않는 JSON 모드보다 더 엄격합니다.

[단어 오류율(WER)](https://broadrouter.com/ko/glossary/word-error-rate/)

단어 오류율(WER)은 음성 인식의 표준 정확도 지표입니다. 전사 결과를 올바른 정답 텍스트로 바꾸는 데 필요한 단어 치환, 삭제, 삽입 횟수를 정답 텍스트의 단어 수로 나눈 값이며, 낮을수록 좋습니다.

## 자주 묻는 질문

### BroadNet Inference에서 임베딩을 제공하나요?

아니요. 문서화된 엔드포인트는 채팅 완성과 오디오 전사입니다. 다른 제공업체의 임베딩 모델을 쓰거나 오픈 다국어 임베딩 모델을 직접 실행하고, 생성 단계에 BroadNet을 쓰세요.

### 타 마르부타를 하로 정규화해야 하나요?

검색에서는 보통 그렇게 하는 것이 좋습니다. 사용자가 두 가지를 모두 입력하기 때문입니다. 서로 다른 단어 몇 개가 합쳐지지만, 대부분의 코퍼스에서는 재현율 향상이 그보다 큽니다. 표시와 인용에는 원문을 보관하세요.

### 아랍어 청크는 얼마나 커야 하나요?

한 문단에서 세 문단, 수백 단어 정도로 시작하고 조금 겹치게 하세요. 문장 중간이 아니라 제목과 문단 경계에서 나누고, 청크마다 문서 제목을 함께 붙이세요.

### 아랍어에 맞는 임베딩 모델은 무엇인가요?

다국어 모델을 쓰고 내 아랍어 쿼리로 테스트하세요. 예를 들어 BGE M3는 저자들이 100개 이상의 작업 언어에서 검색을 지원한다고 설명합니다. 영어 전용 임베딩 모델은 아랍어 벡터 품질이 나쁩니다.

### 사용자가 영어로 검색해서 아랍어 문서를 찾을 수 있나요?

네. 두 언어를 하나의 공간에 매핑하는 다국어 임베딩 모델을 쓰거나, 키워드 검색 전에 LLM으로 쿼리를 번역하면 됩니다. 언어 간 쿼리는 따로 명시적으로 테스트하세요.

## 이어서 읽기

-   [롱 컨텍스트 vs RAG: 100만 토큰이 벡터 DB를 대체할 때](https://broadrouter.com/ko/blog/long-context-vs-rag/)
-   [아랍어 음성 인식 단어 오류율(WER) 쉽게 이해하기](https://broadrouter.com/ko/blog/arabic-asr-wer-explained/)
-   [아랍어 프롬프트 엔지니어링: 문체, RTL, 숫자, 혼용 텍스트](https://broadrouter.com/ko/blog/arabic-prompt-engineering/)
-   [아랍어용 LLM API 선택: 무엇을 테스트해야 하나](https://broadrouter.com/ko/blog/choosing-an-llm-for-arabic/)
-   [LLM으로 아랍어 발음 부호 넣기: 프롬프트, 검증, DER](https://broadrouter.com/ko/blog/arabic-diacritization-llm/)
-   [LLM으로 아랍어 문법·맞춤법 교정하기: 실전 가이드](https://broadrouter.com/ko/blog/arabic-grammar-spelling-correction-llm/)
-   [가이드: BroadNet Inference에서 LangChain 사용하기](https://broadrouter.com/ko/guides/langchain-openai-base-url/)
-   [가이드: BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-arabic-rag-search&utm_content=page-cta) ·

**출처**

-   [Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401, 2026-11-14 확인)](https://arxiv.org/abs/2005.11401)
-   [Chen et al., M3-Embedding: 100개 이상의 작업 언어 (arXiv 2402.03216, 2026-11-14 확인)](https://arxiv.org/abs/2402.03216)
-   [Elasticsearch 언어 분석기, arabic 분석기 필터 (2026-11-14 확인)](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html)
-   [Unicode 아랍어 코드 차트, U+0600~U+06FF (2026-11-14 확인)](https://www.unicode.org/charts/PDF/U0600.pdf)
-   [BroadNet Inference API 레퍼런스, 제공 엔드포인트 (2026-11-14 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-arabic-rag-search&utm_content=sources)
