BroadRouter

Arabizi dan LLM: menangani Franco-Arab dengan angka seperti 3 dan 7

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan · Diperbarui

Arabizi, disebut juga Franco-Arab, adalah bahasa Arab yang ditulis dengan huruf Latin dan angka untuk bunyi yang tidak ada dalam abjad Latin: 3 untuk ع, 7 untuk ح, 2 untuk ء, 5 untuk خ. LLM biasanya memahaminya tetapi mengonversinya secara tidak konsisten. Deteksi, minta model mentransliterasi ke aksara Arab dengan menyebut dialeknya, lalu proses teks Arabnya.

Arabizi, disebut juga Franco-Arab atau “Franco”, adalah bahasa Arab yang ditulis dengan huruf Latin dan angka untuk bunyi yang tidak ada dalam abjad Latin, seperti 3 untuk ع dan 7 untuk ح. Untuk menanganinya dengan LLM, deteksi dulu, minta model mengonversinya ke aksara Arab dengan menyebut dialeknya, lalu jalankan sisa pipeline Anda pada teks Arab.

“ana 3ayez a7gez ma3ad bokra” adalah pesan pelanggan yang biasa di Mesir: “أنا عايز أحجز ميعاد بكرة” (saya mau booking janji temu besok). Arabizi tumbuh di ponsel dan komputer tanpa keyboard Arab dan masih muncul di chat.

Angka mana mewakili huruf Arab yang mana?

Tidak ada standar, tetapi angka dipakai untuk huruf Arab yang bentuknya mirip atau tidak punya padanan Latin. Ikhtisar alfabet chat bahasa Arab mencantumkan konvensi yang umum:

Angka Huruf Arab Contoh Aksara Arab Arti
2 ء (hamzah) / أ so2al سؤال pertanyaan
3 ع 3arabi عربي bahasa Arab
3’ atau 8 غ 8aly / 3’aly غالي mahal
5 atau kh خ 5alas خلاص selesai / cukup
6 ط 6ayeb طيب oke (Teluk)
7 ح 7abibi حبيبي sayangku
9 ص 9ba7 صباح pagi (Teluk)
8 ق (di beberapa wilayah) 8alb قلب hati

Kebiasaan regional berbeda. Ikhtisar itu mencatat, misalnya, bahwa 8 untuk غ hanya dipakai di Lebanon, sedangkan 8 dan 9 untuk ق umum di Arab Saudi; dalam Arabizi Mesir, 2 bisa mewakili ق ketika huruf itu dilafalkan sebagai hentian glotal. Vokal ditulis berdasarkan pendengaran, jadi “ma3lesh”, “ma3lsh”, dan “m3lsh” (معلش, tidak apa-apa) semuanya kata yang sama.

Kenapa Arabizi sulit bagi perangkat lunak?

  • Hampir selalu berupa dialek. Orang menulis Arabizi sebagaimana mereka berbicara, jadi Arabizi membawa semua tantangan dialek sekaligus, tanpa aksara Arab sebagai jangkar.
  • Terlihat seperti bahasa Inggris atau Prancis. “bas” adalah بس (tapi / hanya) dalam bahasa Arab dan tidak bermakna apa-apa dalam bahasa Inggris; “men” adalah من (dari / siapa). Detektor kata kunci dan alat identifikasi bahasa sering melabeli Arabizi sebagai bahasa Inggris atau bahasa beraksara Latin lain.
  • Tidak ada ejaan baku. Pencarian kecocokan persis, aturan intent, dan analitik rusak.
  • Code-switching. “el order bta3i lessa ma waslsh, can u check?” mencampur Arabizi Mesir dan bahasa Inggris dalam satu kalimat.

Konverter berbasis aturan kesulitan karena satu string Latin bisa dipetakan ke banyak ejaan Arab; sistem riset seperti karya Darwish tentang deteksi dan konversi Arabizi menggabungkan penambangan transliterasi dengan pemodelan bahasa untuk memilih kata yang tepat, dan melaporkan akurasi konversi 88,7%. LLM modern pada dasarnya melakukan itu dalam satu langkah.

Seberapa baik LLM menangani Arabizi?

Model besar sudah melihat Arabizi di teks web dan media sosial, jadi sering memahami frasa yang umum. Hasilnya berbeda per model dan dialek, jadi uji dulu sebelum mengandalkannya. Mode kegagalan yang khas:

  1. Menganggapnya bahasa Inggris lalu membalas pesan yang salah dibaca.
  2. Mengonversi ke dialek yang salah, misalnya “mengubah” bahasa Mesir menjadi kata MSA yang mengubah nada, atau menebak Teluk padahal penggunanya orang Lebanon.
  3. Aksara output yang tidak konsisten, membalas satu pesan dalam Arabizi dan pesan berikutnya dalam aksara Arab.
  4. Presisi halusinasi pada nama dan tempat, ketika ejaan Latinnya ambigu.

Solusinya sama seperti untuk dialek pada umumnya: beri tahu model apa yang harus diharapkan dan apa yang harus dihasilkan.

Bagaimana mengonversi Arabizi ke aksara Arab dengan LLM?

Konversi Arabizi ke aksara Arab lebih dulu, lalu jalankan sisa pipeline Anda (pencarian, routing, balasan) pada teks Arab. Cara ini menjaga satu jalur kode dan membuat pencarian serta analitik berjalan.

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
 "dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
 "arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
 "english_gloss": "<short English meaning>"}"""

def normalise(message: str) -> dict:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=1500,  # the model reasons first; leave room for the JSON
        messages=[{"role": "system", "content": NORMALISE},
                  {"role": "user", "content": message}],
    )
    text = r.choices[0].message.content.strip()
    text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
    return json.loads(text)  # validate the fields before you trust them

print(normalise("el order bta3i lessa ma waslsh, can u check?"))

Hasil yang baik:

{"script": "mixed", "dialect": "egyptian",
 "arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
 "english_gloss": "My order still hasn't arrived, can you check?"}

Catatan tentang desain ini:

  • Pertahankan kata dialek. Meminta “pesan dalam aksara Arab, dengan mempertahankan kata dialek” menghindari penulisan ulang diam-diam ke MSA, yang akan menghilangkan makna untuk routing dan analisis sentimen.
  • Simpan versi asli. Simpan pesan mentah di samping hasil konversi untuk audit dan untuk melatih ulang aturan.
  • Pakai pra-filter yang murah. Cek sederhana (huruf Latin plus angka 2, 3, 5, 6, 7, 8 atau 9 di dalam kata, seperti pada regex di bawah) menangkap sebagian besar Arabizi sebelum Anda menghabiskan satu panggilan LLM. Pesan yang murni berbahasa Arab atau murni berbahasa Inggris bisa melewati konversi. Untuk output yang lebih ketat, pakai output terstruktur dengan skema.
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
    return bool(ARABIZI_HINT.search(text)) and not re.search(r"[؀-ۿ]", text)

Petunjuk ini melewatkan Arabizi tanpa angka (“ana mesh fahem”, saya tidak mengerti) dan terpicu oleh kode produk seperti “a7x”; anggap ini penghemat biaya, bukan classifier. Field script dari LLM-lah keputusan sebenarnya.

Aksara apa yang sebaiknya dipakai untuk balasan?

Putuskan per produk, bukan per pesan:

Balas dengan Kapan
Aksara Arab (MSA atau dialek ringan) Default untuk sebagian besar bisnis; bisa dibaca semua orang
Bahasa Inggris Jika bahasa support Anda bahasa Inggris, atau pelanggan sebagian besar mencampur bahasa Inggris
Arabizi Merek anak muda yang ingin menyamai gaya pelanggan; tinjau sampel bersama penutur asli

Meniru Arabizi secara otomatis cenderung menghasilkan ejaan yang terlihat aneh bagi pengguna asli, karena tidak ada standar yang bisa diikuti. Jika Anda memang menirunya, beri model contoh ejaan yang Anda sukai. Selengkapnya tentang menetapkan register dan aksara di prompt engineering bahasa Arab.

Model mana yang sebaiknya dipakai untuk Arabizi?

Kumpulkan 50 sampai 100 pesan Arabizi nyata dari kanal Anda, tulis versi aksara Arab dan intent yang benar untuk masing-masing, lalu nilai model kandidat berdasarkan akurasi intent dulu dan kualitas konversi kemudian. BroadNet melaporkan Qwen3.8 27B memahami dialek Teluk dan Mesir serta menulis bahasa Arab dengan lancar dalam pengujiannya; BroadNet tidak menerbitkan hasil khusus Arabizi, jadi uji pada pesan Anda. DeepSeek V4.1 Flash lebih murah per token output, dan BroadNet Gemma 4 VL 26B adalah model BroadNet termurah untuk langkah pra-klasifikasi bervolume tinggi. Harganya ada di halaman harga. Arabizi beraksara Latin dan aksara Arab ditokenisasi secara berbeda, jadi tempelkan kedua versi dari beberapa pesan ke penghitung token gratis sebelum Anda memperkirakan biaya.

Di mana Arabizi muncul?

  • WhatsApp dan DM media sosial: sumber utama. Lihat arsitektur chatbot WhatsApp bahasa Arab.
  • Kotak pencarian: pengguna mengetik “7agz” (حجز, booking). Normalisasi kueri dengan langkah yang sama sebelum retrieval RAG bahasa Arab.
  • Bukan dari speech-to-text, jika Anda mengirim bahasanya. Arabizi diketik oleh manusia. Jika transkrip audio bahasa Arab kembali dalam huruf Latin, permintaannya kemungkinan tidak menyertakan language=ar; dokumentasi BroadNet memperingatkan bahwa tanpa itu bahasa Arab bisa ditransliterasi. Lihat panduan voice note WhatsApp.

Pertanyaan umum

Apakah Arabizi sama dengan Franco-Arab?

Ya. Arabizi, Franco-Arab, Franco, dan alfabet chat bahasa Arab semuanya menyebut praktik yang sama, yaitu menulis bahasa Arab dengan huruf Latin dan angka. Namanya berbeda per negara; "Franco" umum di Mesir.

Apakah chatbot saya sebaiknya membalas dalam Arabizi?

Biasanya tidak. Balas dengan aksara Arab atau bahasa Inggris, sesuai merek Anda. Sebagian merek yang menyasar anak muda memang membalas dalam Arabizi, tetapi minta penutur asli mengecek bahwa ejaannya terlihat wajar.

Bisakah regex mengonversi Arabizi ke bahasa Arab?

Tidak secara andal. Vokal dihilangkan atau ditambahkan sesuka hati dan huruf Latin yang sama dipetakan ke huruf Arab yang berbeda tergantung konteks. Aturan membantu untuk deteksi; konversi butuh model bahasa.

Apa arti angka 3 dalam pesan teks bahasa Arab?

Dalam Arabizi, 3 mewakili huruf ع (ain), seperti "3arabi" untuk عربي (bahasa Arab). Angka umum lainnya adalah 2 untuk ء, 5 untuk خ, 7 untuk ح, dan 9 untuk ص.

Kenapa hasil transkripsi saya kembali dalam huruf Latin?

Itu transliterasi oleh model ucapan, bukan Arabizi yang diketik pengguna. Kirim language=ar pada setiap permintaan transkripsi bahasa Arab untuk mendapatkan aksara Arab.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity