---
title: "Chuẩn hóa văn bản tiếng Ả Rập là gì? Quy tắc cho RAG"
description: "Chuẩn hóa văn bản tiếng Ả Rập gộp các biến thể chính tả như dạng alef, tatweel và dấu phụ về một dạng để tìm kiếm, RAG và chấm WER khớp nhau. Quy tắc và đánh đổi."
url: https://broadrouter.com/vi/glossary/arabic-text-normalization/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/arabic-text-normalization/) (cập nhật ngày 2026-11-15).

# Chuẩn hóa văn bản tiếng Ả Rập

Cập nhật 2026-11-15

Chuẩn hóa văn bản tiếng Ả Rập là bước đưa các cách viết khác nhau của cùng một từ về một dạng trước khi so khớp: xóa dấu phụ và tatweel, thống nhất các dạng alef, thường đổi ى thành ي, ة thành ه. Chỉ áp dụng cho khóa tìm kiếm và đánh giá, không cho văn bản hiển thị.

Còn gọi là: chuẩn hóa tiếng Ả Rập, chuẩn hóa alef, chuẩn hóa chính tả, tatweel, kashida, Arabic normalization, alef normalization, orthographic normalization, alef variants

Người dùng tiếng Ả Rập gõ cùng một từ theo nhiều cách. Chuẩn hóa làm cho các cách viết đó khớp nhau.

## Cách hoạt động

Chuẩn hóa là một tập phép thay ký tự áp dụng cho cả văn bản lưu trữ lẫn truy vấn. ArabicNormalizer của Apache Lucene, được nhiều công cụ tìm kiếm sử dụng, liệt kê năm quy tắc:

1.  hamza đặt trên alef thành alef trần;
2.  teh marbuta (ة) thành heh (ه);
3.  yeh không chấm, tức alef maksura (ى), thành yeh (ي);
4.  xóa harakat ([dấu phụ](https://broadrouter.com/vi/glossary/arabic-diacritics/));
5.  xóa tatweel, “ký tự kéo dài” (stretching character).

CAMeL Tools cung cấp cùng các ý đó dưới dạng các hàm riêng. `normalize_alef_ar` đổi إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) thành ا, `normalize_alef_maksura_ar` đổi ى thành ي, và `normalize_teh_marbuta_ar` đổi ة thành ه. `normalize_unicode` mặc định chạy NFKC, tức [chuẩn hóa Unicode](https://broadrouter.com/vi/glossary/unicode-normalization/), và nên chạy trước tiên.

Tatweel (U+0640, còn gọi là kashida) là ký tự nối mà Tiêu chuẩn Unicode mô tả cho việc căn đều hai lề: chèn nó giữa các ký tự sẽ kéo dài dòng. Nó không mang nghĩa, nên كتـــاب và كتاب phải khớp nhau.

Ví dụ:

| Đầu vào | Sau khi chuẩn hóa | Quy tắc dùng |
| --- | --- | --- |
| إِسْلامٌ | اسلام | dấu phụ, alef |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | alef maksura |
| كتـــاب | كتاب | tatweel |

## Vì sao quan trọng

Larkey, Ballesteros và Connell (2002) chuẩn hóa bộ tin tức tiếng Ả Rập TREC-2001 bằng cách xóa dấu câu, dấu phụ và ký tự không phải chữ cái, đồng thời thay nhiều biến thể chữ cái bằng một dạng. Chỉ riêng chuẩn hóa đã nâng average precision đơn ngữ từ .194 lên .238. Thêm bộ stemmer light8 của họ lên trên thì đạt .376.

Điều tương tự áp dụng cho:

-   **[RAG](https://broadrouter.com/vi/glossary/rag/) và tìm kiếm theo từ khóa.** Một truy vấn gõ không có hamza vẫn phải tìm ra tài liệu viết có hamza. Xem [tìm kiếm RAG tiếng Ả Rập](https://broadrouter.com/vi/blog/arabic-rag-search/).
-   **[Word error rate](https://broadrouter.com/vi/glossary/word-error-rate/).** Điểm ASR tiếng Ả Rập phụ thuộc vào việc văn bản tham chiếu và bản chép lời có được chuẩn hóa giống nhau hay không. [Bài giải thích WER tiếng Ả Rập](https://broadrouter.com/vi/blog/arabic-asr-wer-explained/) cho thấy hiệu ứng này.
-   **Khử trùng lặp và phân tích.** Đếm từ hoặc thuật ngữ của người dùng mà không chuẩn hóa sẽ tách một từ thành nhiều từ.

Cái giá là các từ khác nhau bị gộp lại. Thống nhất alef biến hai tiểu từ khác nhau إن và أن thành cùng một chuỗi, còn quy tắc ة thành ه gộp كرة (quả bóng) với كره (sự căm ghét). Hãy xem các quy tắc về [hamza](https://broadrouter.com/vi/glossary/hamza/) và [taa marbuta](https://broadrouter.com/vi/glossary/taa-marbuta/) là có thể tinh chỉnh.

## Trên BroadNet Inference

Chuẩn hóa chạy trong code của bạn, không phải trên API. Các endpoint chat và chép lời của BroadNet nhận văn bản hoặc âm thanh đúng như bạn gửi. Hãy giữ hai bản: bản gốc cho model và người dùng, và một khóa đã chuẩn hóa để so khớp.

[Công cụ chuẩn hóa văn bản tiếng Ả Rập](https://broadrouter.com/tools/arabic-text-normalizer/) miễn phí áp dụng các quy tắc này ngay trên trình duyệt để bạn thấy từng quy tắc thay đổi gì. [Hướng dẫn chuẩn hóa](https://broadrouter.com/vi/blog/arabic-text-normalization-search/) có code Python đã kiểm thử và phần thảo luận từng quy tắc.

## Lỗi thường gặp

-   Chuẩn hóa tài liệu mà không chuẩn hóa truy vấn, hoặc ngược lại.
-   Hiển thị hoặc trích dẫn văn bản đã chuẩn hóa cho người dùng.
-   Trộn các thư viện có quy tắc khác nhau, chẳng hạn hai cách đổi ى khác nhau.

## Câu hỏi thường gặp

### Chuẩn hóa có giúp cả tìm kiếm bằng embedding không?

Các kết quả kinh điển được đo trên tìm kiếm theo từ khóa. Với embedding, hãy thử cả đầu vào đã chuẩn hóa và đầu vào gốc trên truy vấn của chính bạn rồi mới quyết định.

### Có nên chuẩn hóa văn bản trước khi gửi cho LLM không?

Thường là không. Hãy gửi bản gốc để model thấy chính tả thật, hamza và dấu phụ. Chỉ chuẩn hóa những bản sao bạn dùng để so khớp, index hoặc chấm điểm.

### Các thư viện có áp dụng cùng quy tắc không?

Không. CAMeL Tools và Lucene đều đổi alef maksura thành yeh và teh marbuta thành heh, nhưng các thư viện khác có thể khác. Hãy chọn một bộ quy tắc và dùng nó cho cả tài liệu lẫn truy vấn.

## Xem thêm

-   [Dấu phụ tiếng Ả Rập (tashkeel)](https://broadrouter.com/vi/glossary/arabic-diacritics/) (thuật ngữ)
-   [Hamza (chữ hamza trong tiếng Ả Rập)](https://broadrouter.com/vi/glossary/hamza/) (thuật ngữ)
-   [Taa marbuta (chữ ة tiếng Ả Rập)](https://broadrouter.com/vi/glossary/taa-marbuta/) (thuật ngữ)
-   [Chuẩn hóa Unicode (Unicode normalization)](https://broadrouter.com/vi/glossary/unicode-normalization/) (thuật ngữ)
-   [RAG (tạo sinh tăng cường truy xuất)](https://broadrouter.com/vi/glossary/rag/) (thuật ngữ)
-   [Word error rate (WER, tỷ lệ lỗi từ)](https://broadrouter.com/vi/glossary/word-error-rate/) (thuật ngữ)
-   [Chuẩn hóa văn bản tiếng Ả Rập cho tìm kiếm và RAG: đổi gì, giữ gì](https://broadrouter.com/vi/blog/arabic-text-normalization-search/) (bài viết)
-   [RAG tiếng Ả Rập: chuẩn hóa, chia chunk và truy xuất hiệu quả](https://broadrouter.com/vi/blog/arabic-rag-search/) (bài viết)
-   [Tỷ lệ lỗi từ (WER) trong nhận dạng giọng nói tiếng Ả Rập](https://broadrouter.com/vi/blog/arabic-asr-wer-explained/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-arabic-text-normalization&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu CAMeL Tools, camel\_tools.utils.normalize (kiểm tra ngày 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [Mã nguồn CAMeL Tools, normalize.py (quy tắc alef, alef maksura, teh marbuta) (kiểm tra ngày 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
-   [Apache Lucene 9.0 API, ArabicNormalizer (kiểm tra ngày 2026-11-15)](https://lucene.apache.org/core/9_0_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Larkey, Ballesteros và Connell, Improving Stemming for Arabic Information Retrieval (SIGIR 2002) (kiểm tra ngày 2026-11-15)](https://ciir-publications.cs.umass.edu/pub/web/getpdf.php?id=249)
-   [The Unicode Standard 18.0, Chương 9 Middle East-I, chữ Ả Rập (tatweel) (kiểm tra ngày 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
