BroadRouter

Arabizi dan LLM: mengendalikan Franco-Arab dengan nombor 3 dan 7

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan · Dikemas kini

Arabizi, juga dipanggil Franco-Arab, ialah bahasa Arab yang ditulis dalam huruf Rumi dengan digit bagi bunyi yang tiada dalam abjad Rumi: 3 untuk ع, 7 untuk ح, 2 untuk ء, 5 untuk خ. LLM biasanya memahaminya tetapi menukarnya secara tidak konsisten. Kesan ia, minta model mentransliterasi ke skrip Arab dengan dialek dinamakan, kemudian proses teks Arab tersebut.

Arabizi, juga dipanggil Franco-Arab atau “Franco”, ialah bahasa Arab yang ditulis dalam huruf Rumi dengan digit bagi bunyi yang tiada dalam abjad Rumi, seperti 3 untuk ع dan 7 untuk ح. Untuk mengendalikannya dengan LLM, kesan ia, minta model menukarnya ke skrip Arab dengan dialek dinamakan, dan jalankan baki saluran anda pada teks Arab.

“ana 3ayez a7gez ma3ad bokra” ialah mesej pelanggan yang biasa di Mesir: “أنا عايز أحجز ميعاد بكرة” (saya mahu menempah temujanji esok). Ia berkembang pada telefon dan komputer tanpa papan kekunci Arab dan masih muncul dalam chat.

Nombor manakah mewakili huruf Arab yang mana?

Tiada piawaian, tetapi digit digunakan untuk huruf Arab yang rupanya serupa atau tiada padanan Rumi. Gambaran keseluruhan abjad chat Arab menyenaraikan konvensyen biasa:

Digit Huruf Arab Contoh Skrip Arab Maksud
2 ء (hamza) / أ so2al سؤال soalan
3 ع 3arabi عربي Arab
3’ atau 8 غ 8aly / 3’aly غالي mahal
5 atau kh خ 5alas خلاص selesai / cukup
6 ط 6ayeb طيب OK (Teluk)
7 ح 7abibi حبيبي sayangku
9 ص 9ba7 صباح pagi (Teluk)
8 ق (di sesetengah wilayah) 8alb قلب hati

Tabiat serantau berbeza. Gambaran keseluruhan itu mencatat, contohnya, bahawa 8 untuk غ hanya digunakan di Lubnan, manakala 8 dan 9 untuk ق biasa di Arab Saudi; dalam Arabizi Mesir, 2 boleh mewakili ق apabila ia disebut sebagai hentian glotis. Vokal ditulis mengikut pendengaran, jadi “ma3lesh”, “ma3lsh” dan “m3lsh” (معلش, tak apa) ialah perkataan yang sama.

Mengapakah Arabizi sukar bagi perisian?

  • Ia hampir selalu dialek. Orang menulis Arabizi seperti mereka bercakap, jadi ia membawa semua cabaran dialek sekali gus, tanpa skrip Arab sebagai sauh.
  • Ia kelihatan seperti bahasa Inggeris atau Perancis. “bas” ialah بس (tetapi / sahaja) dalam bahasa Arab dan tiada makna dalam bahasa Inggeris; “men” ialah من (dari / siapa). Pengesan kata kunci dan alat pengenalan bahasa sering melabel Arabizi sebagai bahasa Inggeris atau bahasa skrip Rumi yang lain.
  • Tiada ejaan piawai. Carian padanan tepat, peraturan niat dan analitik rosak.
  • Pertukaran kod. “el order bta3i lessa ma waslsh, can u check?” mencampurkan Arabizi Mesir dan bahasa Inggeris dalam satu ayat.

Penukar berasaskan peraturan bergelut kerana satu rentetan Rumi boleh dipetakan kepada banyak ejaan Arab; sistem penyelidikan seperti kerja pengesanan dan penukaran Arabizi oleh Darwish menggabungkan perlombongan transliterasi dengan pemodelan bahasa untuk memilih perkataan yang betul, dan melaporkan ketepatan penukaran 88.7%. LLM moden secara efektif melakukannya dalam satu langkah.

Sejauh manakah LLM mengendalikan Arabizi dengan baik?

Model besar telah melihat Arabizi dalam teks web dan media sosial, jadi ia sering memahami frasa biasa. Hasilnya berbeza mengikut model dan dialek, jadi uji sebelum bergantung padanya. Mod kegagalan biasa:

  1. Menganggapnya bahasa Inggeris dan membalas mesej yang tersalah baca.
  2. Menukar ke dialek yang salah, contohnya “mengubah” bahasa Mesir menjadi perkataan MSA yang mengubah nada, atau meneka Teluk sedangkan pengguna dari Lubnan.
  3. Skrip output tidak konsisten, membalas dalam Arabizi untuk satu mesej dan skrip Arab untuk mesej seterusnya.
  4. Ketepatan halusinasi pada nama dan tempat, di mana ejaan Rumi taksa.

Penyelesaiannya sama seperti untuk dialek secara umum: beritahu model apa yang dijangka dan apa yang perlu dihasilkan.

Bagaimanakah menukar Arabizi ke skrip Arab dengan LLM?

Tukar Arabizi ke skrip Arab dahulu, kemudian jalankan baki saluran anda (carian, penghalaan, balasan) pada teks Arab. Ini mengekalkan satu laluan kod dan menjadikan carian serta analitik berfungsi.

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
 "dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
 "arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
 "english_gloss": "<short English meaning>"}"""

def normalise(message: str) -> dict:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=1500,  # the model reasons first; leave room for the JSON
        messages=[{"role": "system", "content": NORMALISE},
                  {"role": "user", "content": message}],
    )
    text = r.choices[0].message.content.strip()
    text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
    return json.loads(text)  # validate the fields before you trust them

print(normalise("el order bta3i lessa ma waslsh, can u check?"))

Hasil yang baik:

{"script": "mixed", "dialect": "egyptian",
 "arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
 "english_gloss": "My order still hasn't arrived, can you check?"}

Nota tentang reka bentuk ini:

  • Kekalkan perkataan dialek. Meminta “the message in Arabic script, keeping the dialect words” mengelakkan penulisan semula secara senyap ke MSA, yang akan menghilangkan makna untuk penghalaan dan sentimen.
  • Simpan teks asal. Simpan mesej mentah di sebelah hasil penukaran untuk audit dan untuk melatih semula peraturan.
  • Gunakan penapis awal yang murah. Semakan ringkas (huruf Rumi serta digit 2, 3, 5, 6, 7, 8 atau 9 di dalam perkataan, seperti dalam regex di bawah) mengesan kebanyakan Arabizi sebelum anda membelanjakan panggilan LLM. Mesej Arab tulen atau Inggeris tulen boleh melangkau penukaran. Untuk output yang lebih ketat, gunakan output berstruktur dengan skema.
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
    return bool(ARABIZI_HINT.search(text)) and not re.search(r"[؀-ۿ]", text)

Petunjuk ini terlepas Arabizi tanpa digit (“ana mesh fahem”, saya tak faham) dan tercetus pada kod produk seperti “a7x”; anggap ia penjimat kos, bukan pengelas. Medan script LLM ialah keputusan sebenar.

Skrip manakah yang patut digunakan untuk balasan?

Tentukan bagi setiap produk, bukan setiap mesej:

Balas dalam Bila
Skrip Arab (MSA atau dialek ringan) Lalai bagi kebanyakan perniagaan; boleh dibaca oleh semua
Bahasa Inggeris Jika bahasa sokongan anda bahasa Inggeris, atau pelanggan kebanyakannya mencampurkan bahasa Inggeris
Arabizi Jenama golongan muda yang mahu sepadan dengan gaya pelanggan; semak sampel bersama penutur asli

Meniru Arabizi secara automatik cenderung menghasilkan ejaan yang kelihatan janggal kepada pengguna asli, kerana tiada piawaian untuk diikuti. Jika anda menirunya, beri model contoh ejaan pilihan anda. Lebih lanjut tentang menetapkan laras dan skrip dalam kejuruteraan prompt bahasa Arab.

Model manakah yang patut digunakan untuk Arabizi?

Kumpul 50 hingga 100 mesej Arabizi sebenar daripada saluran anda, tulis versi skrip Arab dan niat yang betul bagi setiap satu, dan skor model calon pada ketepatan niat dahulu dan kualiti penukaran kemudian. BroadNet melaporkan Qwen3.8 27B memahami dialek Teluk dan Mesir serta menulis bahasa Arab yang lancar dalam ujiannya; ia tidak menerbitkan keputusan khusus Arabizi, jadi uji pada mesej anda. DeepSeek V4.1 Flash lebih murah setiap token output, dan BroadNet Gemma 4 VL 26B ialah model BroadNet paling murah untuk langkah pra-pengelasan volum tinggi. Harga ada di halaman harga. Arabizi skrip Rumi dan skrip Arab ditokenkan secara berbeza, jadi tampal kedua-dua versi beberapa mesej ke dalam pengira token percuma sebelum menganggar kos.

Di manakah Arabizi muncul?

  • WhatsApp dan DM media sosial: sumber utama. Lihat seni bina chatbot WhatsApp bahasa Arab.
  • Kotak carian: pengguna menaip “7agz” (حجز, tempahan). Normalkan pertanyaan dengan langkah yang sama sebelum pengambilan RAG bahasa Arab.
  • Bukan daripada speech-to-text, jika anda menghantar bahasa. Arabizi ditaip oleh manusia. Jika transkrip audio Arab dipulangkan dalam huruf Rumi, permintaan itu mungkin tidak menyertakan language=ar; dokumentasi BroadNet memberi amaran bahawa bahasa Arab boleh ditransliterasi jika tidak. Lihat panduan nota suara WhatsApp.

Soalan lazim

Adakah Arabizi sama dengan Franco-Arab?

Ya. Arabizi, Franco-Arab, Franco dan abjad chat Arab semuanya merujuk kepada amalan yang sama, iaitu menulis bahasa Arab dengan huruf Rumi dan digit. Namanya berbeza mengikut negara; "Franco" biasa digunakan di Mesir.

Patutkah chatbot saya membalas dalam Arabizi?

Biasanya tidak. Balas dalam skrip Arab atau bahasa Inggeris, sesuai dengan jenama anda. Sesetengah jenama yang menyasarkan golongan muda memang membalas dalam Arabizi, tetapi minta penutur asli menyemak bahawa ejaannya kelihatan semula jadi.

Bolehkah regex menukar Arabizi kepada bahasa Arab?

Tidak dengan boleh dipercayai. Vokal digugurkan atau ditambah sesuka hati dan huruf Rumi yang sama dipetakan kepada huruf Arab berbeza bergantung pada konteks. Peraturan membantu pengesanan; penukaran memerlukan model bahasa.

Apakah maksud 3 dalam mesej teks bahasa Arab?

Dalam Arabizi, 3 mewakili huruf ع (ain), seperti "3arabi" untuk عربي (Arab). Digit biasa lain ialah 2 untuk ء, 5 untuk خ, 7 untuk ح dan 9 untuk ص.

Mengapakah transkripsi saya dipulangkan dalam huruf Rumi?

Itu transliterasi oleh model pertuturan, bukan Arabizi yang ditaip oleh pengguna. Hantar language=ar bersama setiap permintaan transkripsi bahasa Arab untuk mendapatkan skrip Arab.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity