BroadRouter

Dấu phụ tiếng Ả Rập (tashkeel)

Cập nhật

Dấu phụ tiếng Ả Rập, hay tashkeel, là các dấu nhỏ viết trên hoặc dưới chữ cái để biểu thị nguyên âm ngắn, phụ âm kép và việc không có nguyên âm. Chúng không bắt buộc: phần lớn văn bản, kể cả tin tức, bỏ chúng, nên người đọc và phần mềm phải đoán nguyên âm từ ngữ cảnh.

Còn gọi là: dấu phụ tiếng Ả Rập, dấu nguyên âm tiếng Ả Rập, thêm dấu tiếng Ả Rập, tashkeel, tashkil, harakat, diacritization, Arabic diacritization, diacritics, vowel marks

Cùng ba chữ cái Ả Rập có thể nghĩa là “anh ấy đã viết”, “những cuốn sách” hoặc “nó đã được viết”. Dấu phụ là thứ phân biệt chúng, và phần lớn văn bản bỏ chúng đi.

Cách hoạt động

Tiêu chuẩn Unicode gọi các dấu này là tashkil và nói chúng “may be written as combining marks” (Bản dịch: có thể được viết dưới dạng dấu kết hợp), rồi thêm: “In normal writing, however, these marks are omitted.” (Bản dịch: Tuy nhiên, trong cách viết thông thường, các dấu này bị bỏ đi.) Harakat là tên của nhóm con biểu thị nguyên âm ngắn. Mỗi dấu là một ký tự kết hợp riêng, đứng sau chữ cái mà nó nằm trên. Các dấu chính nằm trong khoảng U+064B đến U+0652:

Code point Tên Vai trò
U+064E FATHA a ngắn
U+064F DAMMA u ngắn
U+0650 KASRA i ngắn
U+064B đến U+064D FATHATAN, DAMMATAN, KASRATAN tanween (đuôi -an, -un, -in)
U+0651 SHADDA phụ âm kép
U+0652 SUKUN không có nguyên âm

Ví dụ với từ trần كتب:

  • كَتَبَ (kataba), “anh ấy đã viết”
  • كُتُب (kutub), “những cuốn sách”
  • كُتِبَ (kutiba), “nó đã được viết”

Không có dấu, cả ba là cùng một chuỗi. Người đọc chọn nghĩa dựa vào câu. Phần mềm cũng phải làm vậy, và đó là việc của bộ thêm dấu (diacritizer). Zerrouki và Balla (2017) xây dựng corpus Tashkeela, khoảng 75,6 triệu từ, phần lớn là tiếng Ả Rập cổ điển, vì văn bản có đủ nguyên âm rất hiếm mà bộ thêm dấu lại cần nó để huấn luyện. Fadel và cộng sự (2019) báo cáo các model thêm dấu dạng mạng nơ-ron ngang bằng hoặc vượt các nghiên cứu trước trên một benchmark công khai, và cho thấy dấu phụ có thể giúp dịch máy.

Các thư viện xử lý những dấu này như một tập hợp. AR_DIAC_CHARSET của CAMeL Tools gồm U+064B đến U+0652 cộng U+0670 (alef nhỏ viết trên), và hàm dediac_ar của nó xóa chúng.

Vì sao quan trọng

  • Tìm kiếm và so khớp. Cùng một từ gõ có dấu và không dấu là hai chuỗi khác nhau. Hãy xóa dấu khỏi khóa tìm kiếm trong bước chuẩn hóa văn bản tiếng Ả Rập, nếu không khớp chính xác sẽ thất bại.
  • Token. Mỗi dấu là một ký tự thêm cho tokenizer. Văn bản có đủ nguyên âm dùng nhiều token hơn rõ rệt so với văn bản trần; xem hướng dẫn thêm dấu để biết tỷ lệ đo được và số token mỗi từ tiếng Ả Rập để biết mức cơ sở.
  • Giọng nói và đánh giá. Bản chép lời thường trả về không có dấu. Hãy tính word error rate sau khi xóa dấu phụ khỏi cả hai văn bản, nếu không một từ đúng chỉ thừa một dấu fatha cũng bị tính là lỗi.
  • Khi nào cần dấu. Chuyển văn bản thành giọng nói, dạy ngôn ngữ, văn bản kinh Quran và thơ, và những cái tên mơ hồ khi thiếu nguyên âm.

Trên BroadNet Inference

BroadNet không có endpoint thêm dấu. Các model chat nhận tashkeel như văn bản thường qua POST /v1/chat/completions, nên bạn có thể yêu cầu một model như Qwen3.8 27B thêm hoặc xóa dấu. Cách an toàn là kiểm tra câu trả lời bằng code: xóa dấu phụ rồi so với đầu vào của bạn, từng chữ cái một. Bài viết về thêm dấu bằng LLM có prompt và đoạn kiểm tra.

Để xóa dấu, đừng dùng model. Một regex ngắn trên khoảng U+064B đến U+0652 nhanh hơn, miễn phí và chính xác. Công cụ chuẩn hóa văn bản tiếng Ả Rập cho bạn thấy hiệu quả ngay trên trình duyệt.

Câu hỏi thường gặp

Có nên xóa dấu phụ trước khi index văn bản tiếng Ả Rập không?

Với tìm kiếm theo từ khóa thì thường là có, nhưng chỉ trên khóa tìm kiếm. Nhóm tác giả Tashkeela cho biết phần lớn công cụ tìm kiếm bỏ qua dấu phụ. Hãy giữ văn bản gốc để hiển thị và để gửi cho LLM.

Vì sao tiếng Ả Rập có dấu tốn nhiều token hơn?

Mỗi dấu là một ký tự Unicode riêng, nên một từ có đủ nguyên âm có nhiều ký tự hơn để tokenizer chia. Hãy tự đếm văn bản của bạn bằng công cụ đếm token trước và sau khi thêm tashkeel.

LLM có thêm dấu phụ một cách đáng tin cậy không?

Có thể thêm, nhưng cũng có thể đổi luôn chữ cái. Hãy xóa dấu khỏi câu trả lời rồi so với đầu vào; loại mọi câu trả lời có chữ cái bị đổi.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity