Arabizi, pek çok Arapça konuşanın telefonda yazma biçimidir: Arapça kelimeler, Latin klavye, eksik sesler için birkaç rakam.
Nasıl çalışır
Darwish (2014), Arabish veya Franco-Arab da denen Arabizi’yi, İngilizcede olmayan harfler için rakam kullanan, Latin harflerine çevrilmiş Arapça olarak tanımlar: “2” ve “3” hemze sesini ve ع harfini temsil eder. Eski tarayıcılar ve telefonlar Arap alfabesini gösteremediği için yaygınlaştı. İnsanlar alıştığı ve İngilizce klavyede daha hızlı yazdığı için de yaşamaya devam ediyor.
Üç özellik onu yazılım için zorlaştırır:
- Standart yazım yok. Shazal, Usman ve Habash (2020), sosyal medyadaki Arabizi’nin standart imlası olmayan lehçeli Arapça olduğunu ve Arap alfabesine eşlemenin bire bir olmadığını belirtir.
- İngilizce veya Fransızcayla karışık.
w aletli Tuesday(“ve bana salı dedi”) gibi bir mesaj ikisini karıştırır; buna kod değiştirme (code-switching) denir. - Önce tespit. Yazılım dönüştürmeden önce hangi kelimelerin Arabizi olduğuna karar vermelidir. Darwish, klasik bir işlem hattıyla %98,5 tespit ve %88,7 dönüştürme doğruluğu bildirir; 2020’deki sequence-to-sequence modeli birleşik görevde kör bir test setinde %80,6 kelime doğruluğuna ulaşır.
LLM API’leri açısından Arabizi, tokenizer altında da Arap alfabesinden farklı davranır; çünkü sözlüğün nadiren gördüğü şekillerde yazılmış Latin metindir.
Neden önemli
Körfez’de, Mısır’da veya Levant’ta bir sohbet botu, arama ya da analitik çalıştırıyorsanız kullanıcılarınızın bir kısmı Arabizi yazacaktır. Arap alfabesi için kurulmuş anahtar kelime araması, niyet kuralları ve duygu analizi araçları bu mesajları kaçırır. Yaygın çözüm, yönlendirme veya indekslemeden önce bir LLM’den lehçeyi belirterek Arabizi’yi Arap alfabesine çevirmesini istemek ve orijinal metni saklamaktır. Arabizi işleme rehberi istemleri ve yanıt alfabesi seçimlerini adım adım anlatır.
BroadNet Inference’ta
BroadNet’in Arabizi’ye özel bir özelliği yoktur; sohbet modelleri onu sıradan metin olarak alır. BroadNet, Qwen3.8 27B modelini Arapçada, Körfez ve Mısır lehçelerinin anlaşıldığı testlerden geçirdiğini bildirir; bu, Arabizi testleri için bir başlangıç noktasıdır. Bkz. LLM’lerle Körfez ve Mısır lehçeleri.
Konuşma ayrı bir durumdur. BroadNet’in belgeleri, language olmadan Arapça sesin Latin harflerine çevrilebileceği konusunda uyarır. Bu çıktı Arabizi’ye benzer ama konuşmacıdan değil, istekten kaynaklanır. BroadNet Transcribe Arabic modeline language=ar gönderin.