BroadRouter

Arabizi và LLM: xử lý tiếng Ả Rập Franco với các số như 3 và 7

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày · Cập nhật

Arabizi, còn gọi là Franco-Arabic, là tiếng Ả Rập viết bằng chữ Latin, dùng chữ số cho những âm chữ Latin không có: 3 cho ع, 7 cho ح, 2 cho ء, 5 cho خ. LLM thường hiểu nhưng chuyển đổi không nhất quán. Hãy nhận diện nó, yêu cầu model phiên sang chữ Ả Rập kèm tên phương ngữ, rồi xử lý văn bản tiếng Ả Rập.

Arabizi, còn gọi là Franco-Arabic hay “Franco”, là tiếng Ả Rập viết bằng chữ Latin, dùng chữ số cho những âm chữ Latin không có, như 3 cho ع và 7 cho ح. Để xử lý nó bằng LLM, hãy nhận diện nó, để model chuyển sang chữ Ả Rập kèm tên phương ngữ, rồi chạy phần còn lại của pipeline trên văn bản tiếng Ả Rập.

“ana 3ayez a7gez ma3ad bokra” là một tin nhắn bình thường của khách hàng ở Ai Cập: “أنا عايز أحجز ميعاد بكرة” (Tôi muốn đặt lịch hẹn ngày mai). Nó ra đời trên điện thoại và máy tính không có bàn phím tiếng Ả Rập và vẫn xuất hiện trong các cuộc chat.

Chữ số nào thay cho chữ cái Ả Rập nào?

Không có chuẩn chung, nhưng chữ số được dùng cho các chữ Ả Rập có hình dạng giống chúng hoặc không có chữ Latin tương đương. Bài tổng quan bảng chữ cái chat tiếng Ả Rập liệt kê các quy ước phổ biến:

Chữ số Chữ Ả Rập Ví dụ Chữ Ả Rập Nghĩa
2 ء (hamza) / أ so2al سؤال câu hỏi
3 ع 3arabi عربي tiếng Ả Rập
3’ hoặc 8 غ 8aly / 3’aly غالي đắt
5 hoặc kh خ 5alas خلاص xong / đủ rồi
6 ط 6ayeb طيب được (vùng Vịnh)
7 ح 7abibi حبيبي anh yêu / em yêu
9 ص 9ba7 صباح buổi sáng (vùng Vịnh)
8 ق (ở một số vùng) 8alb قلب trái tim

Thói quen mỗi vùng khác nhau. Chẳng hạn bài tổng quan ghi rằng 8 cho غ chỉ dùng ở Lebanon, trong khi 8 và 9 cho ق phổ biến ở Saudi Arabia; trong Arabizi Ai Cập, 2 có thể thay cho ق ở những nơi nó được phát âm thành âm tắc thanh hầu. Nguyên âm được viết theo tai nghe, nên “ma3lesh”, “ma3lsh” và “m3lsh” (معلش, không sao đâu) đều là cùng một từ.

Vì sao Arabizi khó với phần mềm?

  • Nó hầu như luôn là phương ngữ. Người ta viết Arabizi theo cách họ nói, nên nó mang mọi thách thức của phương ngữ cùng lúc, mà không có chữ Ả Rập để làm điểm tựa.
  • Nó trông giống tiếng Anh hoặc tiếng Pháp. “bas” là بس (nhưng / chỉ) trong tiếng Ả Rập và không có nghĩa gì trong tiếng Anh; “men” là من (từ / ai). Bộ nhận diện từ khóa và công cụ nhận diện ngôn ngữ thường gán Arabizi là tiếng Anh hoặc một ngôn ngữ chữ Latin khác.
  • Không có chính tả chuẩn. Tìm kiếm khớp chính xác, quy tắc ý định và phân tích đều hỏng.
  • Chuyển mã ngôn ngữ. “el order bta3i lessa ma waslsh, can u check?” trộn Arabizi Ai Cập và tiếng Anh trong một câu.

Các bộ chuyển đổi dựa trên quy tắc gặp khó vì một chuỗi Latin có thể ứng với nhiều cách viết tiếng Ả Rập; các hệ thống nghiên cứu như công trình nhận diện và chuyển đổi Arabizi của Darwish kết hợp khai thác phiên âm với mô hình ngôn ngữ để chọn đúng từ, và báo cáo độ chính xác chuyển đổi 88,7%. LLM hiện đại thực chất làm việc đó trong một bước.

LLM xử lý Arabizi tốt đến đâu?

Các model lớn đã thấy Arabizi trong văn bản web và mạng xã hội, nên thường hiểu các cụm từ phổ biến. Kết quả khác nhau theo model và phương ngữ, nên hãy test trước khi dựa vào. Các kiểu lỗi điển hình:

  1. Coi nó là tiếng Anh và trả lời một tin nhắn bị đọc sai.
  2. Chuyển sang sai phương ngữ, chẳng hạn “biến” tiếng Ai Cập thành từ MSA làm đổi giọng điệu, hoặc đoán vùng Vịnh trong khi người dùng là người Lebanon.
  3. Hệ chữ đầu ra không nhất quán, trả lời tin này bằng Arabizi và tin sau bằng chữ Ả Rập.
  4. Độ chính xác ảo với tên người và địa danh, nơi cách viết Latin mơ hồ.

Cách sửa giống như với phương ngữ nói chung: báo cho model biết sẽ nhận gì và cần tạo ra gì.

Chuyển Arabizi sang chữ Ả Rập bằng LLM thế nào?

Chuyển Arabizi sang chữ Ả Rập trước, rồi chạy phần còn lại của pipeline (tìm kiếm, định tuyến, trả lời) trên văn bản tiếng Ả Rập. Cách này giữ một luồng code duy nhất và giúp tìm kiếm, phân tích hoạt động.

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
 "dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
 "arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
 "english_gloss": "<short English meaning>"}"""

def normalise(message: str) -> dict:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=1500,  # the model reasons first; leave room for the JSON
        messages=[{"role": "system", "content": NORMALISE},
                  {"role": "user", "content": message}],
    )
    text = r.choices[0].message.content.strip()
    text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
    return json.loads(text)  # validate the fields before you trust them

print(normalise("el order bta3i lessa ma waslsh, can u check?"))

Một kết quả tốt:

{"script": "mixed", "dialect": "egyptian",
 "arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
 "english_gloss": "My order still hasn't arrived, can you check?"}

Ghi chú về thiết kế này:

  • Giữ từ phương ngữ. Yêu cầu “the message in Arabic script, keeping the dialect words” (tin nhắn bằng chữ Ả Rập, giữ nguyên từ phương ngữ) tránh việc âm thầm viết lại thành MSA, vốn làm mất ý nghĩa cho định tuyến và phân tích cảm xúc.
  • Giữ bản gốc. Lưu tin nhắn thô cạnh bản chuyển đổi để kiểm tra và để huấn luyện lại quy tắc.
  • Dùng một bộ lọc sơ bộ rẻ. Một phép kiểm tra đơn giản (chữ Latin cộng các chữ số 2, 3, 5, 6, 7, 8 hoặc 9 bên trong từ, như trong regex bên dưới) bắt được phần lớn Arabizi trước khi bạn tốn một lần gọi LLM. Tin nhắn thuần tiếng Ả Rập hoặc thuần tiếng Anh có thể bỏ qua bước chuyển đổi. Để đầu ra chặt chẽ hơn, hãy dùng structured output với schema.
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
    return bool(ARABIZI_HINT.search(text)) and not re.search(r"[؀-ۿ]", text)

Gợi ý này bỏ sót Arabizi không có chữ số (“ana mesh fahem”, tôi không hiểu) và kích hoạt nhầm với mã sản phẩm như “a7x”; hãy coi nó là công cụ tiết kiệm chi phí, không phải bộ phân loại. Trường script của LLM mới là quyết định thật.

Câu trả lời nên dùng hệ chữ nào?

Quyết định theo sản phẩm, không theo từng tin nhắn:

Trả lời bằng Khi nào
Chữ Ả Rập (MSA hoặc phương ngữ nhẹ) Mặc định cho hầu hết doanh nghiệp; ai cũng đọc được
Tiếng Anh Nếu ngôn ngữ hỗ trợ của bạn là tiếng Anh, hoặc khách hàng trộn vào chủ yếu là tiếng Anh
Arabizi Thương hiệu trẻ muốn khớp phong cách của khách; duyệt mẫu với người bản ngữ

Tự động bắt chước Arabizi dễ tạo ra cách viết trông kỳ lạ với người dùng bản ngữ, vì không có chuẩn nào để theo. Nếu vẫn bắt chước, hãy đưa cho model ví dụ về cách viết bạn ưa dùng. Xem thêm về cách đặt văn phong và hệ chữ trong prompt engineering cho tiếng Ả Rập.

Nên dùng model nào cho Arabizi?

Thu thập 50 đến 100 tin nhắn Arabizi thật từ các kênh của bạn, viết phiên bản chữ Ả Rập đúng và ý định cho từng tin, và chấm các model ứng viên theo độ chính xác ý định trước, chất lượng chuyển đổi sau. BroadNet báo cáo Qwen3.8 27B hiểu phương ngữ vùng Vịnh và Ai Cập và viết tiếng Ả Rập trôi chảy trong các bài test của họ; họ không công bố kết quả riêng cho Arabizi, nên hãy test trên dữ liệu của bạn. DeepSeek V4.1 Flash rẻ hơn tính theo token đầu ra, và BroadNet Gemma 4 VL 26B là model BroadNet rẻ nhất cho bước phân loại sơ bộ khối lượng lớn. Giá có trên trang bảng giá. Arabizi chữ Latin và chữ Ả Rập tách token khác nhau, nên hãy dán cả hai phiên bản của vài tin nhắn vào công cụ đếm token miễn phí trước khi ước tính chi phí.

Arabizi xuất hiện ở đâu?

  • WhatsApp và tin nhắn riêng trên mạng xã hội: nguồn chính. Xem kiến trúc chatbot WhatsApp tiếng Ả Rập.
  • Ô tìm kiếm: người dùng gõ “7agz” (حجز, đặt chỗ). Hãy chuẩn hóa truy vấn bằng cùng bước đó trước khi truy xuất RAG tiếng Ả Rập.
  • Không đến từ chuyển giọng nói thành văn bản, nếu bạn gửi language. Arabizi do người gõ. Nếu bản chép lời âm thanh tiếng Ả Rập trả về bằng chữ Latin, request có lẽ thiếu language=ar; tài liệu của BroadNet cảnh báo rằng nếu thiếu, tiếng Ả Rập có thể bị phiên âm. Xem hướng dẫn tin nhắn thoại WhatsApp.

Câu hỏi thường gặp

Arabizi có giống Franco-Arabic không?

Có. Arabizi, Franco-Arabic, Franco và bảng chữ cái chat tiếng Ả Rập đều chỉ cùng một thói quen viết tiếng Ả Rập bằng chữ Latin và chữ số. Tên gọi khác nhau theo quốc gia; "Franco" phổ biến ở Ai Cập.

Chatbot của tôi có nên trả lời bằng Arabizi không?

Thường là không. Hãy trả lời bằng chữ Ả Rập hoặc tiếng Anh, tùy thương hiệu. Một số thương hiệu hướng tới giới trẻ có trả lời bằng Arabizi, nhưng hãy nhờ người bản ngữ kiểm tra để cách viết trông tự nhiên.

Regex có chuyển Arabizi sang tiếng Ả Rập được không?

Không đáng tin cậy. Nguyên âm bị bỏ hoặc thêm tùy ý, và cùng chữ Latin ứng với các chữ Ả Rập khác nhau tùy ngữ cảnh. Quy tắc giúp nhận diện; chuyển đổi cần một mô hình ngôn ngữ.

Số 3 nghĩa là gì khi nhắn tin tiếng Ả Rập?

Trong Arabizi, 3 thay cho chữ ع (ayn), như "3arabi" là عربي (tiếng Ả Rập). Các chữ số phổ biến khác là 2 cho ء, 5 cho خ, 7 cho ح và 9 cho ص.

Vì sao bản chép lời của tôi trả về bằng chữ Latin?

Đó là model giọng nói phiên âm, không phải Arabizi do người dùng gõ. Hãy gửi language=ar với mọi request chép lời tiếng Ả Rập để nhận chữ Ả Rập.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity