Với hầu hết người đọc tiếng Ả Rập, مدرسة và مدرسه là cùng một từ, “trường học”. Với phép so sánh chuỗi, chúng khác nhau. Nguyên nhân là taa marbuta.
Cách hoạt động
Unicode Standard xếp TEH MARBUTA (U+0629) vào nhóm ký tự cuối (trailing character), tức ký tự chỉ xuất hiện ở cuối từ hoặc cuối hình vị. Đây là chữ nối bên phải, nên chỉ nối với chữ đứng trước nó. Hình dạng của nó là hình dạng của HEH (U+0647) ở cuối từ, cộng thêm hai chấm:
| Ký tự | Code point | Tên Unicode | Dạng cuối sau ب |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
Vì hai chữ chỉ khác nhau ở hai dấu chấm cuối từ, cả hai cách viết đều xuất hiện trong văn bản gõ tay. Bouamor và cộng sự (2018) lưu ý rằng tiếng Ả Rập chuẩn hiện đại có chính tả chuẩn, còn các phương ngữ thì không, và người ta thường viết theo cách phát âm. Vì vậy trong văn bản không trang trọng và văn bản phương ngữ tiếng Ả Rập, hãy chuẩn bị gặp ه ở cuối từ tại những chỗ từ điển viết ة.
Các bộ chuẩn hóa tìm kiếm gộp hai chữ này làm một. normalize_teh_marbuta_ar của CAMeL Tools chỉ là một lệnh s.replace('ة', 'ه') đơn giản, còn ArabicNormalizer của Lucene liệt kê “normalization of teh marbuta to heh” (Bản dịch: chuẩn hóa teh marbuta thành heh) là một quy tắc.
Vì sao quan trọng
Recall. Gộp ة vào ه giúp truy vấn مدرسه tìm thấy tài liệu viết مدرسة, và ngược lại. Đây là một trong các quy tắc chuẩn của chuẩn hóa văn bản tiếng Ả Rập, cùng với gộp alef và hamza.
Từ bị gộp. Quy tắc này cũng gộp những từ chỉ khác nhau ở chữ cái này:
| Từ gốc | Nghĩa | Sau khi đổi ة thành ه |
|---|---|---|
| كرة | quả bóng | كره |
| كره | sự căm ghét | كره |
Với tìm kiếm, thỉnh thoảng khớp nhầm thường là cái giá chấp nhận được. Với đối chiếu thực thể, sửa chính tả hay văn bản pháp lý, hãy giữ sự phân biệt và so sánh bản gốc.
Chấm điểm. Khi đánh giá speech-to-text, một bản phiên âm viết ه ở chỗ bản tham chiếu có ة sẽ bị tính là lỗi từ, trừ khi cả hai được chuẩn hóa giống nhau. Hãy quyết định trước khi chấm điểm, và ghi rõ quyết định đó.
Trên BroadNet Inference
API của BroadNet không chuẩn hóa văn bản. Các model chat nhận và trả ة và ه đúng như đã viết, còn BroadNet Transcribe Arabic trả về văn bản tiếng Ả Rập thông thường. Hãy áp dụng quy tắc ة trong code đánh chỉ mục hoặc chấm điểm của chính bạn, cho cả hai phía.
Nếu bạn nhờ model chat sửa chính tả, hãy kiểm tra các chỉnh sửa bằng code: bài sửa chính tả tiếng Ả Rập trình bày cách kiểm tra dựa trên diff. Về chỉ mục, bài tìm kiếm RAG tiếng Ả Rập và hướng dẫn chuẩn hóa cho thấy quy tắc này nằm ở đâu. Bạn có thể thử quy tắc trên chuỗi của mình bằng công cụ chuẩn hóa văn bản tiếng Ả Rập.