Muốn trả lời người dùng bằng phương ngữ của họ, trước hết bạn phải biết họ viết bằng phương ngữ nào. Đó là nhận dạng phương ngữ.
Cách hoạt động
Giới nghiên cứu đo bài toán này qua các shared task NADI (Nuanced Arabic Dialect Identification). NADI 2020 dùng tweet trải trên 100 tỉnh ở 21 quốc gia Ả Rập, với một subtask cấp quốc gia và một subtask cấp tỉnh. NADI 2024 đặt nhận dạng phương ngữ thành bài toán đa nhãn, vì một câu có thể hợp lệ trong nhiều phương ngữ, và thêm một subtask về mức độ “phương ngữ hóa” (dialectness). Hệ thống tốt nhất ở Subtask 1 đạt 50,57 F1, và ban tổ chức viết rằng nhận dạng phương ngữ vẫn còn khó.
Corpus MADAR (Bouamor và cộng sự, 2018) là một tài nguyên phổ biến: cùng các câu thuộc chủ đề du lịch được dịch sang 25 phương ngữ thành phố. 2.000 câu có ở cả 25 phương ngữ; thêm 10.000 câu nữa có cho Doha, Beirut, Cairo, Tunis và Rabat. Dữ liệu song song như vậy cho bạn thấy cùng một ý được viết thế nào ở từng nơi.
Trong thực tế, phần lớn sản phẩm chỉ cần nhãn thô hơn. Một bộ nhãn dùng được:
| Nhãn | Bao gồm |
|---|---|
msa |
Tiếng Ả Rập chuẩn hiện đại |
gulf |
Saudi, UAE, Kuwait, Qatar, Bahrain, Oman |
egyptian |
Ai Cập |
levantine |
Syria, Lebanon, Jordan, Palestine |
maghrebi |
Morocco, Algeria, Tunisia, Libya |
other_or_unclear |
Iraq, Yemen, Sudan, trộn lẫn hoặc quá ngắn |
Prompt LLM cho việc này yêu cầu một đối tượng JSON: nhãn, độ tin cậy và những từ đã để lộ phương ngữ. Ví dụ, tin nhắn عايز أغير الباقة sẽ trả về:
{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}
Yêu cầu cung cấp dấu hiệu (cues) giúp dễ rà soát lỗi: nếu dấu hiệu là một từ tiếng Ả Rập chuẩn thì nhãn đáng ngờ.
Vì sao quan trọng
- Định tuyến. Chuyển khách vùng Vịnh cho nhân viên vùng Vịnh, hoặc đổi prompt trả lời sang phương ngữ của người dùng.
- Đánh giá. Chia tập test giọng nói và chat theo phương ngữ. Một con số trung bình duy nhất che mất nhóm yếu nhất, như bài viết về nhận dạng giọng nói phương ngữ cho thấy.
- Phân tích. Biết người dùng của bạn thực sự viết phương ngữ nào trước khi đầu tư vào một phương ngữ.
Tin nhắn trộn lẫn rất phổ biến. Người dùng chuyển qua lại giữa phương ngữ, tiếng Ả Rập chuẩn và tiếng Anh trong một dòng, đó là code-switching; hãy giữ nhãn “không rõ” thay vì ép model đoán.
Trên BroadNet Inference
BroadNet không có endpoint nhận dạng phương ngữ. Bạn có thể tự dựng trên POST /v1/chat/completions. Tài liệu tham chiếu API của BroadNet mô tả structured output cho GLM 5.3 và Qwen3.8 27B, rất hợp với danh sách nhãn cố định; xem structured output. BroadNet cho biết đã thử Qwen3.8 27B và model hiểu được phương ngữ vùng Vịnh và Ai Cập. BroadNet không công bố độ chính xác nhận dạng phương ngữ cho model nào, vì vậy hãy tự gắn nhãn khoảng 100 tin nhắn của bạn và đo model trên đó trước khi dựa vào nó.
Bài viết về phân loại văn bản tiếng Ả Rập trình bày prompt, danh sách nhãn và cách chấm điểm cho loại bài toán này, còn tiếng Ả Rập phương ngữ giải thích ý nghĩa các nhãn.