BroadRouter

Phương ngữ tiếng Ả Rập (dialectal Arabic)

Cập nhật

Phương ngữ tiếng Ả Rập là tiếng Ả Rập nói hằng ngày của một vùng hay thành phố, như tiếng Ả Rập Ai Cập, vùng Vịnh, Levant hay Maghreb. Chúng khác MSA về âm, từ vựng và ngữ pháp, không có chính tả chuẩn và ngày càng được viết trên mạng, nên khó hơn với model ngôn ngữ.

Còn gọi là: phương ngữ Ả Rập, tiếng Ả Rập thông tục, tiếng Ả Rập vùng Vịnh, tiếng Ả Rập Ai Cập, tiếng Ả Rập Levant, tiếng Ả Rập Maghreb, Arabic dialects, Arabic dialect, colloquial Arabic, Gulf Arabic, Egyptian Arabic, Levantine Arabic, Maghrebi Arabic, Khaleeji

Một model có thể đạt điểm cao trên các benchmark tiếng Ả Rập mà vẫn vấp khi gặp một tin nhắn thoại từ Riyadh hay một tin nhắn chat từ Casablanca. Đó là phương ngữ, và đó là một bài kiểm tra khác với tiếng Ả Rập chuẩn hiện đại (MSA).

Cách hoạt động

Bouamor và cộng sự (2018), nhóm xây dựng kho ngữ liệu MADAR, mô tả tiếng Ả Rập là “a family of varieties” (Bản dịch: một họ gồm nhiều biến thể). MSA là ngôn ngữ chung của văn hóa, truyền thông và giáo dục “from Morocco to Oman” (Bản dịch: từ Morocco đến Oman), nhưng không phải tiếng mẹ đẻ của ai. Phương ngữ thường được nhóm theo vùng, như Ai Cập, Bắc Phi, Levant, vùng Vịnh và Yemen, hoặc theo tiểu vùng, như Tunisia, Lebanon, Kuwait và nhiều nơi khác. Chúng khác MSA về âm, từ vựng và hình thái học, và ở mức độ ít hơn thì khác nhau giữa các thành phố.

Ba khác biệt quan trọng nhất với phần mềm:

  • Âm. Ví dụ của MADAR là chữ qaf (ق). Trong tiếng Ả Rập Tunisia nó vẫn là /q/, gần với MSA; trong tiếng Ả Rập Ai Cập và Levant nó là âm tắc thanh hầu; trong tiếng Ả Rập vùng Vịnh nó là /g/. Model giọng nói phải ánh xạ cả ba về cùng một từ viết.
  • Từ vựng. Từ ngữ hằng ngày khác nhau. “Tôi muốn” là أريد trong MSA, عايز trong tiếng Ai Cập, بدي trong tiếng Levant, أبي hoặc أبغى trong tiếng vùng Vịnh và بغيت trong tiếng Ả Rập Morocco.
  • Chính tả. MADAR lưu ý MSA có chính tả chuẩn còn phương ngữ thì không. Người ta viết theo âm hoặc theo từ nguyên, đôi khi bằng chữ Latin như Arabizi. Người nói cũng trộn tiếng Anh hoặc tiếng Pháp, tức là code-switching.

Phương ngữ cũng ngày càng được viết ra. MADAR gọi nó là ngôn ngữ viết chính đang nổi lên trong giao tiếp không trang trọng trên mạng. NADI 2020 xây dựng một shared task từ các tweet thuộc 100 tỉnh của 21 nước Ả Rập.

Vì sao quan trọng

Trên BroadNet Inference

BroadNet liệt kê BroadNet Transcribe Arabic cho tiếng Ả Rập vùng Vịnh, Ai Cập, Levant, Maghreb và tiếng Ả Rập chuẩn hiện đại. BroadNet báo cáo tỷ lệ lỗi từ (WER) là 3,8 trên giọng đọc FLEURS-ar và 23,4 trên bộ phương ngữ vùng Vịnh, Ai Cập và Levant của riêng họ, cả hai đều là số đo của BroadNet. Khoảng cách đó chính là hiệu ứng phương ngữ. Hãy gửi language=ar cho tất cả; tài liệu BroadNet cảnh báo rằng nếu không, tiếng Ả Rập có thể trả về dưới dạng phiên âm chữ Latin.

Với văn bản, BroadNet báo cáo đã thử Qwen3.8 27B bằng tiếng Ả Rập và model hiểu được phương ngữ vùng Vịnh và Ai Cập. BroadNet không công bố kết quả cho văn bản Levant hay Maghreb, nên hãy tự thử bằng tin nhắn của bạn. Hướng dẫn chọn LLM cho tiếng Ả Rập so sánh các model, và hướng dẫn chuyển giọng nói tiếng Ả Rập thành văn bản có code chạy được.

Lỗi thường gặp

  • Chỉ test trên văn bản tin tức MSA, rồi phát hành cho người dùng viết bằng phương ngữ.
  • Lấy trung bình WER qua các phương ngữ, làm che mất phương ngữ yếu nhất.
  • Chuẩn hóa chính tả phương ngữ về MSA trong văn bản hiển thị cho người dùng.

Câu hỏi thường gặp

Gửi audio phương ngữ thì dùng mã ngôn ngữ nào?

Gửi ar. Tài liệu BroadNet yêu cầu language=ar cho audio tiếng Ả Rập, và BroadNet liệt kê Transcribe Arabic cho tiếng Ả Rập vùng Vịnh, Ai Cập, Levant, Maghreb và tiếng Ả Rập chuẩn hiện đại trong cùng một model.

Model nên trả lời bằng phương ngữ hay MSA?

Hãy quyết định theo từng sản phẩm và ghi rõ trong system prompt. Nhiều trợ lý đọc phương ngữ rồi trả lời bằng MSA đơn giản hoặc bằng chính phương ngữ của người dùng; hãy thử xem người dùng của bạn thích cách nào.

Tiếng Ả Rập có bao nhiêu phương ngữ?

Không có con số cố định. Phương ngữ được nhóm theo vùng (Ai Cập, Bắc Phi, Levant, vùng Vịnh, Yemen) hoặc theo tiểu vùng. Riêng MADAR đã bao gồm 25 phương ngữ thành phố.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity