Người dùng tiếng Ả Rập gõ cùng một từ theo nhiều cách. Chuẩn hóa làm cho các cách viết đó khớp nhau.
Cách hoạt động
Chuẩn hóa là một tập phép thay ký tự áp dụng cho cả văn bản lưu trữ lẫn truy vấn. ArabicNormalizer của Apache Lucene, được nhiều công cụ tìm kiếm sử dụng, liệt kê năm quy tắc:
- hamza đặt trên alef thành alef trần;
- teh marbuta (ة) thành heh (ه);
- yeh không chấm, tức alef maksura (ى), thành yeh (ي);
- xóa harakat (dấu phụ);
- xóa tatweel, “ký tự kéo dài” (stretching character).
CAMeL Tools cung cấp cùng các ý đó dưới dạng các hàm riêng. normalize_alef_ar đổi إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) thành ا, normalize_alef_maksura_ar đổi ى thành ي, và normalize_teh_marbuta_ar đổi ة thành ه. normalize_unicode mặc định chạy NFKC, tức chuẩn hóa Unicode, và nên chạy trước tiên.
Tatweel (U+0640, còn gọi là kashida) là ký tự nối mà Tiêu chuẩn Unicode mô tả cho việc căn đều hai lề: chèn nó giữa các ký tự sẽ kéo dài dòng. Nó không mang nghĩa, nên كتـــاب và كتاب phải khớp nhau.
Ví dụ:
| Đầu vào | Sau khi chuẩn hóa | Quy tắc dùng |
|---|---|---|
| إِسْلامٌ | اسلام | dấu phụ, alef |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | alef maksura |
| كتـــاب | كتاب | tatweel |
Vì sao quan trọng
Larkey, Ballesteros và Connell (2002) chuẩn hóa bộ tin tức tiếng Ả Rập TREC-2001 bằng cách xóa dấu câu, dấu phụ và ký tự không phải chữ cái, đồng thời thay nhiều biến thể chữ cái bằng một dạng. Chỉ riêng chuẩn hóa đã nâng average precision đơn ngữ từ .194 lên .238. Thêm bộ stemmer light8 của họ lên trên thì đạt .376.
Điều tương tự áp dụng cho:
- RAG và tìm kiếm theo từ khóa. Một truy vấn gõ không có hamza vẫn phải tìm ra tài liệu viết có hamza. Xem tìm kiếm RAG tiếng Ả Rập.
- Word error rate. Điểm ASR tiếng Ả Rập phụ thuộc vào việc văn bản tham chiếu và bản chép lời có được chuẩn hóa giống nhau hay không. Bài giải thích WER tiếng Ả Rập cho thấy hiệu ứng này.
- Khử trùng lặp và phân tích. Đếm từ hoặc thuật ngữ của người dùng mà không chuẩn hóa sẽ tách một từ thành nhiều từ.
Cái giá là các từ khác nhau bị gộp lại. Thống nhất alef biến hai tiểu từ khác nhau إن và أن thành cùng một chuỗi, còn quy tắc ة thành ه gộp كرة (quả bóng) với كره (sự căm ghét). Hãy xem các quy tắc về hamza và taa marbuta là có thể tinh chỉnh.
Trên BroadNet Inference
Chuẩn hóa chạy trong code của bạn, không phải trên API. Các endpoint chat và chép lời của BroadNet nhận văn bản hoặc âm thanh đúng như bạn gửi. Hãy giữ hai bản: bản gốc cho model và người dùng, và một khóa đã chuẩn hóa để so khớp.
Công cụ chuẩn hóa văn bản tiếng Ả Rập miễn phí áp dụng các quy tắc này ngay trên trình duyệt để bạn thấy từng quy tắc thay đổi gì. Hướng dẫn chuẩn hóa có code Python đã kiểm thử và phần thảo luận từng quy tắc.
Lỗi thường gặp
- Chuẩn hóa tài liệu mà không chuẩn hóa truy vấn, hoặc ngược lại.
- Hiển thị hoặc trích dẫn văn bản đã chuẩn hóa cho người dùng.
- Trộn các thư viện có quy tắc khác nhau, chẳng hạn hai cách đổi ى khác nhau.