Arabizi ialah cara ramai penutur Arab menaip di telefon: perkataan Arab, papan kekunci Rumi, dan beberapa digit untuk bunyi yang tiada.
Cara ia berfungsi
Darwish (2014) menerangkan Arabizi, juga dipanggil Arabish atau Franco-Arab, sebagai bahasa Arab dalam bentuk Rumi yang ditransliterasi dan menggunakan angka untuk huruf yang tiada dalam bahasa Inggeris: “2” dan “3” mewakili bunyi hamzah dan ع. Ia berkembang kerana pelayar dan telefon lama tidak dapat memaparkan tulisan Arab. Ia kekal kerana orang sudah biasa dan menaip lebih pantas pada papan kekunci Inggeris.
Tiga ciri menyukarkannya untuk perisian:
- Tiada ejaan standard. Shazal, Usman dan Habash (2020) menyatakan bahawa Arabizi media sosial ialah bahasa Arab dialek, yang tiada ortografi standard, dan pemetaannya kepada tulisan Arab bukan satu-dengan-satu.
- Bercampur dengan bahasa Inggeris atau Perancis. Mesej seperti
w aletli Tuesday(“dan dia beritahu saya Tuesday”) mencampurkan kedua-duanya, iaitu penukaran kod. - Pengesanan dahulu. Perisian perlu menentukan perkataan mana yang Arabizi sebelum menukarnya. Darwish melaporkan ketepatan pengesanan 98.5% dan ketepatan penukaran 88.7% dengan pipeline klasik; model sequence-to-sequence 2020 mencapai ketepatan perkataan 80.6% pada set ujian buta untuk tugas gabungan itu.
Bagi API LLM, Arabizi juga berkelakuan berbeza daripada tulisan Arab di bawah tokenizer, kerana ia teks Rumi yang dieja dengan cara yang jarang dilihat oleh perbendaharaan kata (vocabulary) model.
Mengapa ia penting
Jika anda menjalankan chatbot, carian atau analitik di Teluk, Mesir atau Levant, sebahagian pengguna anda akan menaip Arabizi. Carian kata kunci, peraturan niat (intent) dan alat sentimen yang dibina untuk tulisan Arab akan terlepas mesej tersebut. Penyelesaian biasa ialah meminta LLM menukar Arabizi kepada tulisan Arab, dengan dialek dinyatakan, sebelum penghalaan atau pengindeksan, dan menyimpan teks asal. Panduan mengendalikan Arabizi menerangkan prompt dan pilihan tulisan jawapan.
Di BroadNet Inference
BroadNet tiada ciri khusus untuk Arabizi; model chat menerimanya sebagai teks biasa. BroadNet melaporkan ujian Qwen3.8 27B dalam bahasa Arab, dengan dialek Teluk dan Mesir difahami, yang menjadi titik permulaan untuk ujian Arabizi. Lihat dialek Teluk dan Mesir dengan LLM.
Pertuturan ialah kes berasingan. Dokumentasi BroadNet memberi amaran bahawa tanpa language, audio Arab boleh ditransliterasi ke dalam huruf Rumi. Output itu kelihatan seperti Arabizi tetapi berpunca daripada permintaan, bukan penutur. Hantar language=ar kepada BroadNet Transcribe Arabic.