BroadRouter

Arabizi اور LLMs: 3 اور 7 جیسے ہندسوں والی Franco-Arabic سنبھالنا

BroadNet Inference ٹیم · 5 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

Arabizi، جسے Franco-Arabic بھی کہتے ہیں، لاطینی حروف میں لکھی عربی ہے، جس میں لاطینی میں نہ ملنے والی آوازوں کے لیے ہندسے ہوتے ہیں: ع کے لیے 3، ح کے لیے 7، ء کے لیے 2، خ کے لیے 5۔ LLMs عموماً اسے سمجھتے ہیں لیکن بے ربط طریقے سے بدلتے ہیں۔ اسے پہچانیں، لہجے کا نام دے کر ماڈل سے عربی رسم الخط میں transliterate کروائیں، پھر عربی متن پروسیس کریں۔

Arabizi، جسے Franco-Arabic یا “Franco” بھی کہتے ہیں، لاطینی حروف میں لکھی عربی ہے، جس میں لاطینی میں نہ ملنے والی آوازوں کے لیے ہندسے ہوتے ہیں، جیسے ع کے لیے 3 اور ح کے لیے 7۔ اسے LLM سے سنبھالنے کے لیے اسے پہچانیں، لہجے کا نام دے کر ماڈل سے اسے عربی رسم الخط میں بدلوائیں، اور اپنی باقی پائپ لائن عربی متن پر چلائیں۔

“ana 3ayez a7gez ma3ad bokra” مصر میں گاہک کا ایک عام پیغام ہے: “أنا عايز أحجز ميعاد بكرة” (میں کل کی اپائنٹمنٹ بک کرنا چاہتا ہوں)۔ یہ بغیر عربی کی بورڈ والے فونز اور کمپیوٹرز پر پروان چڑھی اور آج بھی چیٹ میں نظر آتی ہے۔

کون سے ہندسے کن عربی حروف کے لیے ہیں؟

کوئی معیار نہیں، لیکن ہندسے ان عربی حروف کے لیے استعمال ہوتے ہیں جو ان سے ملتے جلتے دکھتے ہیں یا جن کا کوئی لاطینی متبادل نہیں۔ Arabic chat alphabet کا جائزہ عام رواجوں کی فہرست دیتا ہے:

ہندسہ عربی حرف مثال عربی رسم الخط معنی
2 ء (ہمزہ) / أ so2al سؤال سوال
3 ع 3arabi عربي عربی
3’ یا 8 غ 8aly / 3’aly غالي مہنگا
5 یا kh خ 5alas خلاص ہو گیا / بس
6 ط 6ayeb طيب ٹھیک ہے (خلیجی)
7 ح 7abibi حبيبي میرے پیارے
9 ص 9ba7 صباح صبح (خلیجی)
8 ق (کچھ علاقوں میں) 8alb قلب دل

علاقائی عادتیں مختلف ہیں۔ مثال کے طور پر، جائزہ نوٹ کرتا ہے کہ غ کے لیے 8 صرف لبنان میں استعمال ہوتا ہے، جبکہ سعودی عرب میں ق کے لیے 8 اور 9 عام ہیں؛ مصری Arabizi میں 2، ق کے لیے ہو سکتا ہے جہاں اسے glottal stop کی طرح بولا جاتا ہے۔ حروفِ علت سن کر لکھے جاتے ہیں، اس لیے “ma3lesh”، “ma3lsh” اور “m3lsh” (معلش، کوئی بات نہیں) سب ایک ہی لفظ ہیں۔

سافٹ ویئر کے لیے Arabizi مشکل کیوں ہے؟

  • یہ تقریباً ہمیشہ لہجہ ہوتی ہے۔ لوگ Arabizi ویسے لکھتے ہیں جیسے بولتے ہیں، اس لیے اس میں لہجے کے سارے چیلنج ایک ساتھ ہوتے ہیں، اور انہیں تھامنے کے لیے عربی رسم الخط نہیں ہوتا۔
  • یہ انگریزی یا فرانسیسی جیسی دکھتی ہے۔ “bas” عربی میں بس (لیکن / صرف) ہے اور انگریزی میں کچھ نہیں؛ “men” من (سے / کون) ہے۔ keyword detectors اور language-ID ٹولز اکثر Arabizi کو انگریزی یا کسی دوسری لاطینی رسم الخط والی زبان کا لیبل دیتے ہیں۔
  • کوئی معیاری املا نہیں۔ exact-match سرچ، ارادے کے اصول اور analytics ٹوٹ جاتے ہیں۔
  • Code-switching۔ “el order bta3i lessa ma waslsh, can u check?” ایک جملے میں مصری Arabizi اور انگریزی ملاتا ہے۔

اصولوں پر مبنی کنورٹرز مشکل میں پڑتے ہیں کیونکہ ایک لاطینی اسٹرنگ کئی عربی املاؤں سے مل سکتی ہے؛ Darwish کے Arabizi پہچان اور تبدیلی کے کام جیسے تحقیقی سسٹمز نے درست لفظ چننے کے لیے transliteration mining کو language modelling کے ساتھ جوڑا، اور 88.7% تبدیلی کی درستگی رپورٹ کی۔ جدید LLMs عملاً یہ ایک ہی مرحلے میں کرتے ہیں۔

LLMs Arabizi کو کتنی اچھی طرح سنبھالتے ہیں؟

بڑے ماڈلز نے ویب اور سوشل میڈیا متن میں Arabizi دیکھی ہے، اس لیے وہ اکثر عام جملے سمجھ لیتے ہیں۔ نتائج ماڈل اور لہجے کے لحاظ سے بدلتے ہیں، اس لیے بھروسہ کرنے سے پہلے ٹیسٹ کریں۔ عام ناکامیاں:

  1. اسے انگریزی سمجھنا اور غلط پڑھے پیغام کا جواب دینا۔
  2. غلط لہجے میں بدلنا، جیسے مصری کو ایسے MSA الفاظ میں “بدلنا” جو لہجہ بدل دیں، یا صارف لبنانی ہو تب خلیجی کا اندازہ لگانا۔
  3. آؤٹ پٹ کا رسم الخط بے ربط ہونا، ایک پیغام کا جواب Arabizi میں اور اگلے کا عربی رسم الخط میں۔
  4. ناموں اور مقامات پر گھڑی ہوئی درستگی، جہاں لاطینی املا مبہم ہے۔

علاج وہی ہے جو عموماً لہجوں کے لیے: ماڈل کو بتائیں کہ کس چیز کی توقع رکھے اور کیا بنائے۔

LLM سے Arabizi کو عربی رسم الخط میں کیسے بدلیں؟

پہلے Arabizi کو عربی رسم الخط میں بدلیں، پھر اپنی باقی پائپ لائن (سرچ، routing، جوابات) عربی متن پر چلائیں۔ اس سے کوڈ کا ایک ہی راستہ رہتا ہے اور سرچ اور analytics کام کرتے ہیں۔

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
 "dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
 "arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
 "english_gloss": "<short English meaning>"}"""

def normalise(message: str) -> dict:
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        max_tokens=1500,  # the model reasons first; leave room for the JSON
        messages=[{"role": "system", "content": NORMALISE},
                  {"role": "user", "content": message}],
    )
    text = r.choices[0].message.content.strip()
    text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
    return json.loads(text)  # validate the fields before you trust them

print(normalise("el order bta3i lessa ma waslsh, can u check?"))

اچھا نتیجہ:

{"script": "mixed", "dialect": "egyptian",
 "arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
 "english_gloss": "My order still hasn't arrived, can you check?"}

اس ڈیزائن پر نوٹس:

  • لہجے کے الفاظ برقرار رکھیں۔ “the message in Arabic script, keeping the dialect words” (ترجمہ: پیغام عربی رسم الخط میں، لہجے کے الفاظ برقرار رکھتے ہوئے) مانگنے سے اسے خاموشی سے MSA میں دوبارہ لکھے جانے سے بچایا جاتا ہے، جس سے routing اور sentiment کے لیے معنی کھو جاتا۔
  • اصل رکھیں۔ آڈٹ اور اصولوں کی دوبارہ تربیت کے لیے خام پیغام تبدیلی کے ساتھ محفوظ کریں۔
  • سستا pre-filter استعمال کریں۔ ایک سادہ جانچ (الفاظ کے اندر لاطینی حروف اور ہندسے 2، 3، 5، 6، 7، 8 یا 9، جیسا کہ نیچے والے regex میں ہے) LLM کال پر خرچ کرنے سے پہلے زیادہ تر Arabizi پکڑ لیتی ہے۔ صرف عربی یا صرف انگریزی پیغامات تبدیلی چھوڑ سکتے ہیں۔ زیادہ سخت آؤٹ پٹ کے لیے schema کے ساتھ structured output استعمال کریں۔
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
    return bool(ARABIZI_HINT.search(text)) and not re.search(r"[؀-ۿ]", text)

یہ hint بغیر ہندسوں والی Arabizi (“ana mesh fahem”، مجھے سمجھ نہیں آیا) چھوڑ دیتا ہے اور “a7x” جیسے پروڈکٹ کوڈز پر چل جاتا ہے؛ اسے لاگت بچانے والا سمجھیں، classifier نہیں۔ اصل فیصلہ LLM کا script فیلڈ ہے۔

جواب کس رسم الخط میں ہو؟

ہر پیغام کے لیے نہیں، ہر پروڈکٹ کے لیے طے کریں:

جواب کب
عربی رسم الخط (MSA یا ہلکا لہجہ) زیادہ تر کاروباروں کے لیے ڈیفالٹ؛ سب پڑھ سکتے ہیں
انگریزی اگر آپ کی سپورٹ کی زبان انگریزی ہے، یا گاہک نے زیادہ تر انگریزی ملائی
Arabizi نوجوانوں کے برانڈز جو گاہک کے انداز سے مطابقت چاہتے ہیں؛ مقامی بولنے والوں سے نمونوں کا جائزہ لیں

Arabizi کی خود بخود نقل کرنے سے اکثر ایسی املائیں بنتی ہیں جو مقامی صارفین کو عجیب لگتی ہیں، کیونکہ پیروی کے لیے کوئی معیار نہیں۔ اگر آپ نقل کرتے ہیں تو ماڈل کو اپنی پسندیدہ املاؤں کی مثالیں دیں۔ انداز اور رسم الخط طے کرنے پر مزید عربی پرامپٹ انجینئرنگ میں۔

Arabizi کے لیے کون سا ماڈل استعمال کریں؟

اپنے چینلز سے 50 سے 100 اصل Arabizi پیغامات جمع کریں، ہر ایک کا درست عربی رسم الخط والا روپ اور ارادہ لکھیں، اور امیدوار ماڈلز کو پہلے ارادے کی درستگی اور پھر تبدیلی کے معیار پر اسکور کریں۔ BroadNet رپورٹ کرتا ہے کہ اس کے ٹیسٹس میں Qwen3.8 27B نے خلیجی اور مصری لہجے سمجھے اور رواں عربی لکھی؛ اس نے Arabizi کا الگ نتیجہ شائع نہیں کیا، اس لیے اسے اپنے پیغامات پر ٹیسٹ کریں۔ DeepSeek V4.1 Flash فی آؤٹ پٹ ٹوکن سستا ہے، اور BroadNet Gemma 4 VL 26B بڑی مقدار والے pre-classification مرحلے کے لیے BroadNet کا سب سے سستا ماڈل ہے۔ قیمتیں قیمتوں کے صفحے پر ہیں۔ لاطینی رسم الخط والی Arabizi اور عربی رسم الخط مختلف طرح tokenise ہوتے ہیں، اس لیے لاگت کا اندازہ لگانے سے پہلے چند پیغامات کے دونوں روپ مفت ٹوکن کاؤنٹر میں پیسٹ کریں۔

Arabizi کہاں نظر آتی ہے؟

  • WhatsApp اور سوشل DMs: مرکزی ذریعہ۔ دیکھیں عربی WhatsApp chatbot آرکیٹیکچر۔
  • سرچ باکس: صارفین “7agz” (حجز، بکنگ) ٹائپ کرتے ہیں۔ عربی RAG retrieval سے پہلے اسی مرحلے سے queries نارملائز کریں۔
  • speech to text سے نہیں، اگر آپ زبان بھیجتے ہیں۔ Arabizi لوگ ٹائپ کرتے ہیں۔ اگر عربی آڈیو کی ٹرانسکرپٹ لاطینی حروف میں آتی ہے تو شاید درخواست میں language=ar نہیں ہے؛ BroadNet کی دستاویزات خبردار کرتی ہیں کہ ورنہ عربی کا transliteration ہو سکتا ہے۔ WhatsApp وائس نوٹ گائیڈ دیکھیں۔

عام سوالات

کیا Arabizi اور Franco-Arabic ایک ہی ہیں؟

ہاں۔ Arabizi، Franco-Arabic، Franco اور Arabic chat alphabet، سب عربی کو لاطینی حروف اور ہندسوں میں لکھنے کے ایک ہی رواج کے نام ہیں۔ نام ملک کے لحاظ سے بدلتے ہیں؛ مصر میں "Franco" عام ہے۔

کیا میرا chatbot Arabizi میں جواب دے؟

عموماً نہیں۔ اپنے برانڈ کے مطابق عربی رسم الخط یا انگریزی میں جواب دیں۔ نوجوانوں پر مرکوز کچھ برانڈز Arabizi میں جواب دیتے ہیں، لیکن مقامی بولنے والوں سے جانچ کروائیں کہ املا فطری لگے۔

کیا regex سے Arabizi کو عربی میں بدلا جا سکتا ہے؟

قابلِ بھروسہ طریقے سے نہیں۔ حروفِ علت من مرضی سے چھوڑے یا جوڑے جاتے ہیں اور وہی لاطینی حروف سیاق کے لحاظ سے مختلف عربی حروف سے ملتے ہیں۔ اصول پہچان میں مدد کرتے ہیں؛ تبدیلی کے لیے language ماڈل چاہیے۔

عربی پیغامات میں 3 کا کیا مطلب ہے؟

Arabizi میں 3 حرف ع (عین) کے لیے ہے، جیسے عربي (عربی) کے لیے "3arabi"۔ دوسرے عام ہندسے ہیں ء کے لیے 2، خ کے لیے 5، ح کے لیے 7 اور ص کے لیے 9۔

میری ٹرانسکرپشن لاطینی حروف میں کیوں آئی؟

یہ speech ماڈل کا transliteration ہے، صارفین کی ٹائپ کی ہوئی Arabizi نہیں۔ عربی رسم الخط حاصل کرنے کے لیے ہر عربی ٹرانسکرپشن درخواست کے ساتھ language=ar بھیجیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں