Cùng ba chữ cái Ả Rập có thể nghĩa là “anh ấy đã viết”, “những cuốn sách” hoặc “nó đã được viết”. Dấu phụ là thứ phân biệt chúng, và phần lớn văn bản bỏ chúng đi.
Cách hoạt động
Tiêu chuẩn Unicode gọi các dấu này là tashkil và nói chúng “may be written as combining marks” (Bản dịch: có thể được viết dưới dạng dấu kết hợp), rồi thêm: “In normal writing, however, these marks are omitted.” (Bản dịch: Tuy nhiên, trong cách viết thông thường, các dấu này bị bỏ đi.) Harakat là tên của nhóm con biểu thị nguyên âm ngắn. Mỗi dấu là một ký tự kết hợp riêng, đứng sau chữ cái mà nó nằm trên. Các dấu chính nằm trong khoảng U+064B đến U+0652:
| Code point | Tên | Vai trò |
|---|---|---|
| U+064E | FATHA | a ngắn |
| U+064F | DAMMA | u ngắn |
| U+0650 | KASRA | i ngắn |
| U+064B đến U+064D | FATHATAN, DAMMATAN, KASRATAN | tanween (đuôi -an, -un, -in) |
| U+0651 | SHADDA | phụ âm kép |
| U+0652 | SUKUN | không có nguyên âm |
Ví dụ với từ trần كتب:
- كَتَبَ (kataba), “anh ấy đã viết”
- كُتُب (kutub), “những cuốn sách”
- كُتِبَ (kutiba), “nó đã được viết”
Không có dấu, cả ba là cùng một chuỗi. Người đọc chọn nghĩa dựa vào câu. Phần mềm cũng phải làm vậy, và đó là việc của bộ thêm dấu (diacritizer). Zerrouki và Balla (2017) xây dựng corpus Tashkeela, khoảng 75,6 triệu từ, phần lớn là tiếng Ả Rập cổ điển, vì văn bản có đủ nguyên âm rất hiếm mà bộ thêm dấu lại cần nó để huấn luyện. Fadel và cộng sự (2019) báo cáo các model thêm dấu dạng mạng nơ-ron ngang bằng hoặc vượt các nghiên cứu trước trên một benchmark công khai, và cho thấy dấu phụ có thể giúp dịch máy.
Các thư viện xử lý những dấu này như một tập hợp. AR_DIAC_CHARSET của CAMeL Tools gồm U+064B đến U+0652 cộng U+0670 (alef nhỏ viết trên), và hàm dediac_ar của nó xóa chúng.
Vì sao quan trọng
- Tìm kiếm và so khớp. Cùng một từ gõ có dấu và không dấu là hai chuỗi khác nhau. Hãy xóa dấu khỏi khóa tìm kiếm trong bước chuẩn hóa văn bản tiếng Ả Rập, nếu không khớp chính xác sẽ thất bại.
- Token. Mỗi dấu là một ký tự thêm cho tokenizer. Văn bản có đủ nguyên âm dùng nhiều token hơn rõ rệt so với văn bản trần; xem hướng dẫn thêm dấu để biết tỷ lệ đo được và số token mỗi từ tiếng Ả Rập để biết mức cơ sở.
- Giọng nói và đánh giá. Bản chép lời thường trả về không có dấu. Hãy tính word error rate sau khi xóa dấu phụ khỏi cả hai văn bản, nếu không một từ đúng chỉ thừa một dấu fatha cũng bị tính là lỗi.
- Khi nào cần dấu. Chuyển văn bản thành giọng nói, dạy ngôn ngữ, văn bản kinh Quran và thơ, và những cái tên mơ hồ khi thiếu nguyên âm.
Trên BroadNet Inference
BroadNet không có endpoint thêm dấu. Các model chat nhận tashkeel như văn bản thường qua POST /v1/chat/completions, nên bạn có thể yêu cầu một model như Qwen3.8 27B thêm hoặc xóa dấu. Cách an toàn là kiểm tra câu trả lời bằng code: xóa dấu phụ rồi so với đầu vào của bạn, từng chữ cái một. Bài viết về thêm dấu bằng LLM có prompt và đoạn kiểm tra.
Để xóa dấu, đừng dùng model. Một regex ngắn trên khoảng U+064B đến U+0652 nhanh hơn, miễn phí và chính xác. Công cụ chuẩn hóa văn bản tiếng Ả Rập cho bạn thấy hiệu quả ngay trên trình duyệt.