BroadRouter

كيف تصمّم منتج ذكاء اصطناعي متعدد اللغات

بقلم فريق BroadNet Inference · قراءة في 7 دقائق · تاريخ النشر

خزّن إعدادين منفصلين: لغة الواجهة ولغة المحتوى، ولا تستنتج أحدهما من الآخر. حدّد الاتجاه من لغة الواجهة، واعزل نصوص المستخدم والنموذج بـ dir="auto" أو bdi، ونسّق الأرقام والتواريخ حسب اللغة والمنطقة، ووحّد الأرقام عند الإدخال، وتعامل مع كشف اللغة كتلميح، وقيّم الجودة والتكلفة لكل لغة.

ميزة الذكاء الاصطناعي الموجّهة لمستخدمين بالعربية والإنجليزية والإسبانية هي في الحقيقة ثلاثة منتجات تتشارك قاعدة شيفرة واحدة. فالشاشة يجب أن تنقلب اتجاهها للعربية، والرسائل تخلط أنظمة كتابة في السطر الواحد، والأرقام والتواريخ يتغيّر شكلها حسب المنطقة، وقد يجيب النموذج باللغة الخطأ، وتكلّف كل لغة مبلغًا مختلفًا. ومعظم هذه المشكلات يعود إلى خطأ تصميمي واحد: معاملة “اللغة” على أنها إعداد واحد.

يتناول هذا المقال جانب المنتج والواجهة. أما ترجمة نصوص تطبيقك نفسه (العناصر النائبة، وصيغ الجمع، ورسائل ICU) فتجدها في ترجمة نصوص التطبيق إلى العربية بنموذج LLM، وصياغة الأوامر في هندسة الأوامر بالعربية.

لماذا تفصل لغة الواجهة عن لغة النموذج؟

لأنهما تجيبان عن سؤالين مختلفين. لغة الواجهة (ar-SA، en-US، es-MX) تحدّد اتجاه التخطيط، ولغة الأزرار، وشكل الأرقام والتواريخ. أما لغة المحتوى فهي لغة رسالة أو مستند أو تسجيل بعينه، وتحدّد ما تطلبه من النموذج.

ويفترقان طوال الوقت. مستخدم سعودي بواجهة عربية يلصق عقدًا إنجليزيًا. ومستخدم إسباني يرفع صورة فاتورة عربية. ووكيل خدمة ثنائي اللغة يبدّل اللغة في منتصف المحادثة (التبديل اللغوي). فإذا أرسلت الشيفرة “أجب بالعربية” لأن الواجهة عربية، حصل العقد الإنجليزي على ملخص عربي لم يطلبه أحد.

لذلك خزّن الاثنين لكل مستخدم، ولكل رسالة:

  • ui_locale: يختاره المستخدم، وافتراضيه لغة المتصفح.
  • answer_language: اختيار صريح من المستخدم إن وُجد، وإلا فاللغة المكتشَفة للرسالة.
  • وللصوت، audio_language: ما تمرّره إلى نموذج التفريغ الصوتي. ويقول المرجع التقني لواجهة BroadNet أن ترسل language دائمًا مع طلب التفريغ، وإلا فقد تعود العربية بحروف لاتينية.

كيف تدعم النص من اليمين لليسار والنص مختلط الاتجاه؟

بثلاث طبقات، وفق إرشادات W3C:

  1. اتجاه الصفحة من لغة الواجهة. اضبط dir="rtl" وlang="ar" على العنصر html للعربية. ويوصي W3C بعدم استخدام CSS لضبط الاتجاه الأساسي، وباستخدام القيم المنطقية (start وend) للهوامش والحشو والمحاذاة بدلًا من اليسار واليمين.
  2. CSS المنطقي. margin-inline-start بدلًا من margin-left، وtext-align: start بدلًا من left. وتصف MDN الخصائص المنطقية بأنها تتحكم في التخطيط “through logical rather than physical direction” (الترجمة: من خلال الاتجاه المنطقي لا الاتجاه الفعلي). وبهذا تخدم ورقة أنماط واحدة الاتجاهين.
  3. اعزل النص الذي لم تكتبه. رسائل المستخدمين، وإجابات النموذج، وأسماء المنتجات، وأرقام الطلبات، لكل منها اتجاهه الخاص. وقاعدة W3C: إذا لم تكن تعرف اتجاه نص يُدرَج وقت التشغيل، فأضف dir="auto" إلى العنصر الذي يحيط به، أو ضعه داخل عنصر bdi. ومن دون عزل، قد يقفز رقم طلب إنجليزي في نهاية جملة عربية إلى الجهة الخطأ، وتستقر علامات الترقيم في أماكن غريبة.

في واجهة الدردشة يعني ذلك وضع dir="auto" على كل فقاعة رسالة، لأن كل رسالة تأخذ اتجاهها من أول حرف قوي فيها، ووضع bdi حول الأسماء والرموز داخل نصوص واجهتك أنت. وحيث لا يوجد ترميز (الإشعارات الفورية، والرسائل النصية القصيرة، وملفات CSV المُصدَّرة)، تؤدي عوازل خوارزمية Unicode ثنائية الاتجاه المهمة نفسها: U+2068 FIRST STRONG ISOLATE قبل النص وU+2069 POP DIRECTIONAL ISOLATE بعده.

وتضيف مخرجات النموذج حالة أخرى: Markdown. فقد يُدرج نموذج يجيب بالعربية شيفرة أو روابط أو خلايا جدول بالإنجليزية. اعرض كتل الشيفرة بـ dir="ltr" صراحة، وأعطِ كل فقرة وخلية جدول dir="auto".

كيف تختلف الأرقام والتواريخ حسب اللغة والمنطقة؟

دع المنصة تنسّقها، واختبر ما تنتجه فعلًا. شغّلنا Intl.NumberFormat وIntl.DateTimeFormat على Node 24.22.1 (ICU 78.3، CLDR 48) للرقم 1234.5 وتاريخ 15 نوفمبر 2026:

اللغة والمنطقة الرقم التاريخ (الصيغة الطويلة) الاتجاه
en-US 1,234.5 November 15, 2026 ltr
ar-SA ١٬٢٣٤٫٥ ١٥ نوفمبر ٢٠٢٦ rtl
ar-SA-u-nu-latn 1,234.5 15 نوفمبر 2026 rtl
ar-AE 1,234.5 15 نوفمبر 2026 rtl
es-ES 1234,5 15 de noviembre de 2026 ltr
es-MX 1,234.5 15 de noviembre de 2026 ltr

أربع ملاحظات. تختلف اللغات العربية في الأرقام: فالسعودية تستخدم افتراضيًا الأرقام العربية الهندية، والإمارات الأرقام الغربية، والامتداد -u-nu-latn (راجع numberingSystem في MDN) يحوّل أي لغة إلى الأرقام الغربية. وتختلف الإسبانية حسب المنطقة: فإسبانيا تستخدم الفاصلة العشرية، ولا تضع فاصل آلاف في الرقم المكوّن من أربع خانات، بينما تستخدم المكسيك النقطة. وتختلف أسماء الأشهر أيضًا في العالم العربي: فقد طبعت ar-MA «نونبر» لشهر نوفمبر حيث طبعت ar-SA «نوفمبر». كما تأتي المتصفحات بإصدارات ICU خاصة بها، فشغّل الفحوص نفسها في المتصفحات التي تستهدفها.

وتتبع صيغ الجمع قواعد CLDR: فقد أعاد Intl.PluralRules للغة ar ست فئات للأعداد 0 و1 و2 و3 و11 و100 (zero وone وtwo وfew وmany وother)، بينما أعادت الإنجليزية والإسبانية فئتي one وother فقط لهذه الأعداد. وجانب النصوص من هذا الموضوع في مقال نصوص التطبيق.

وعند الإدخال، اقبل شكلَي الأرقام. فقد يكتب المستخدم ١٢٣٤ في حقل الكمية؛ حوّلها إلى أرقام ASCII قبل التحليل، وقبل إرسال الأرقام إلى النموذج إن كانت أوامرك تقارن بينها.

هل يمكن كشف لغة كل رسالة؟

جزئيًا. التمييز بين الحروف العربية واللاتينية سهل وموثوق: عُدّ المحارف الواقعة في نطاق Unicode العربي. أما التمييز بين الإنجليزية والإسبانية، أو قراءة الرسائل القصيرة جدًا، فيحتاج إلى نموذج مدرَّب. وتنشر fastText نموذجين لتحديد اللغة يغطيان 176 لغة (lid.176.bin بحجم 126 MB، والنسخة المضغوطة lid.176.ftz بحجم 917 kB).

إليك وحدة مساعدة صغيرة للقرارات السابقة. الكاشف بسيط عمدًا، ليُظهر أين يفشل البسيط.

// UI locale and content language are separate values. Never derive one from the other silently.
const RTL = new Set(['ar', 'he', 'fa', 'ur']);

/** Rough script-based guess: enough to pick a direction and a prompt, not a language-ID model. */
export function guessLanguage(text) {
  const arabic = (text.match(/[؀-ۿݐ-ݿ]/g) || []).length;
  const latin = (text.match(/[A-Za-zÀ-ÿ]/g) || []).length;
  if (arabic + latin < 3) return 'und';
  if (arabic / (arabic + latin) > 0.6) return 'ar';
  if (arabic / (arabic + latin) > 0.2) return 'mixed';
  return /[ñ¿¡áéíóú]|\b(el|la|los|las|de|que|por|para|está|dónde)\b/i.test(text) ? 'es' : 'en';
}

/** Wrap user or model text for display inside UI text of either direction (W3C: bdi / dir="auto"). */
export const isolate = (s) => `<bdi>${s.replace(/[&<>"]/g, (c) => ({ '&': '&amp;', '<': '&lt;', '>': '&gt;', '"': '&quot;' })[c])}</bdi>`;

/** Plain-text equivalent for places with no markup (notifications, CSV, SMS): FSI ... PDI. */
export const isolateText = (s) => `⁨${s}⁩`;

export function formatters(uiLocale) {
  return {
    dir: RTL.has(new Intl.Locale(uiLocale).language) ? 'rtl' : 'ltr',
    number: new Intl.NumberFormat(uiLocale),
    date: new Intl.DateTimeFormat(uiLocale, { dateStyle: 'long', timeZone: 'UTC' }),
    plural: new Intl.PluralRules(uiLocale),
  };
}

/** Normalise digits a user typed before parsing: Arabic-Indic and Persian to ASCII. */
export const toAsciiDigits = (s) =>
  s.replace(/[٠-٩]/g, (d) => d.charCodeAt(0) - 0x0660).replace(/[۰-۹]/g, (d) => d.charCodeAt(0) - 0x06F0);

/** System prompt: the answer language comes from the content, or the user's explicit choice, not the UI. */
export function systemPrompt({ answerLanguage }) {
  const name = { ar: 'Arabic', en: 'English', es: 'Spanish' }[answerLanguage] ?? 'the language of the user\'s message';
  return `Answer in ${name}. Keep product names, code, URLs and numbers exactly as written.`;
}

شغّلناها على Node 24. فصنّفت وين طلبي؟ على أنها ar، و”¿Dónde está mi pedido?” على أنها es، و”Where is my order?” على أنها en، وجملة عربية تحوي الرمز ORD-5521 على أنها ar. وأعادت “ok” القيمة und، وهذا يعود بشكل صحيح إلى “the language of the user’s message” في الأمر. أما “ana 3ayez a3raf el order fen”، وهي عامية مصرية بحروف لاتينية (العربيزي)، فعادت es، لأن كلمة “el” تبدو إسبانية. هذه هي النتيجة الصادقة لأسلوب تقريبي. فإذا كان مستخدموك يكتبون بالعربيزي، فاكشفها صراحة وعاملها كعربية، كما في التعامل مع العربيزي، ودع المستخدمين يصحّحون لغة الإجابة بنقرة واحدة.

وحوّلت دالة الأرقام ٢٠٢٦-١١-١٥ إلى 2026-11-15، وهرّبت isolate() محارف HTML قبل الإحاطة، فلا يستطيع اسم شركة مثل Acme <Ltd> حقن ترميز.

ما الذي يتغيّر أيضًا حين تتغيّر اللغة؟

  • طول النص. نصوص الواجهة المترجمة أطول غالبًا. ويستشهد W3C بإرشادات IBM التي تتوقع أن تكبر النصوص الإنجليزية التي لا تتجاوز 10 محارف إلى 200–300% من طولها في اللغات الأوروبية، والنصوص التي تتجاوز 70 محرفًا إلى نحو 130%. صمّم الأزرار والتسميات بحيث تلتف، واختبر النسخة الإسبانية على الشاشات الضيقة.
  • الخطوط. اختر عائلة خطوط لها تصميم عربي متناسق، وتحقّق من ارتفاع السطر في العربية: فالتشكيل يحتاج إلى مساحة فوق الحروف وتحتها.
  • البحث والمطابقة. يحتاج النص العربي إلى توحيد قبل المطابقة (التشكيل، وأشكال الألف، والتطويل). وتعرض أداة توحيد النص العربي كل قاعدة.
  • الكلام. اختر نموذج التفريغ الصوتي حسب لغة الصوت، لا حسب الواجهة. وتُدرج BroadNet نموذجًا عربيًا ونموذجًا يغطي 14 لغة منها الإنجليزية والإسبانية والعربية؛ وتقول صفحة نموذجها متعدد اللغات أن تختار النموذج العربي للصوت العربي. ويقارن مقال تحويل الكلام إلى نص بعدة لغات بين الخيارات.
  • اللهجة. “العربية” ليست هدفًا واحدًا. فالمستخدمون في الرياض والقاهرة والدار البيضاء يكتبون بأشكال مختلفة؛ ويتناول مقال اللهجتين الخليجية والمصرية ما ينبغي اختباره.

كيف تقيّم وتخطّط ميزانية كل لغة؟

كلٌّ على حدة. فالدرجة المجمّعة تخفي لغة ضعيفة، والميزانية المجمّعة تخفي لغة مكلفة.

ابنِ مجموعة تقييم صغيرة لكل لغة من رسائل حقيقية، يوسم فيها متحدثون أصليون الإجابات المتوقعة. تحقّق من أن الإجابة باللغة المطلوبة، وأن الأسماء والأرقام والرموز تبقى دون تغيير، وأن الجودة ثابتة في كل لهجة تخدمها. وشغّل المجموعة نفسها حين تغيّر النموذج أو الأمر؛ والطريقة في تقييم نموذج LLM قبل الانتقال.

أما التكلفة، فعدد الرموز يختلف حسب اللغة والمُرمِّز. ففي بيانات BroadRouter المقيسة، يحتاج النص نفسه بالعربية الفصحى من 1.31× (Qwen3.8 27B) إلى 1.77× (GLM 5.3) من رموز ترجمته الإنجليزية. وتحوّل صفحة التكلفة الفعلية حسب اللغة هذه الأعداد إلى مبالغ لكل نموذج، بما فيها الإسبانية، ويقيس عدّاد الرموز العربية نصوصك أنت. سجّل الرموز لكل طلب مع لغة المحتوى، وسترى التكلفة لكل لغة ولكل مستخدم، لا لكل شهر فقط.

وأخيرًا، احصل على مراجعة من متحدثين أصليين قبل الإطلاق. فالترجمة الآلية ومخرجات النماذج كلتاهما تنتج عربية وإسبانية سليمتين نحويًا لكنهما غير مناسبتين لجمهورك. والمراجع الذي يستخدم المنتج بلغته يلتقط ما لا يلتقطه أي اختبار.

أين تناسب BroadNet Inference

BroadRouter هو موقع BroadNet نفسها. ونماذج BroadNet Inference مناسبة بقدر معقول لمنتج بالعربية والإنجليزية والإسبانية: إذ تفيد BroadNet بأنها اختبرت Qwen3.8 27B بالعربية، بما في ذلك فهم اللهجتين الخليجية والمصرية؛ ويعمل Gemma 4 VL 26B على الرصيد المبدئي البالغ $5؛ ويغطي التفريغ الصوتي العربية (BroadNet Transcribe Arabic، $0.0042 للدقيقة) و14 لغة منها الإنجليزية والإسبانية (BroadNet Transcribe، $0.002 للدقيقة). لا يُحتفظ بمحتوى الاستدلال؛ ويُحتفظ ببيانات الحساب والفوترة والأمان الوصفية الضرورية كما يوضّح بيان الخصوصية لدى BroadNet. وكل ما في هذا المقال عن التخطيط والاتجاه والتنسيق والكشف هو مسؤولية تطبيقك، أيًا كانت الواجهة التي تستخدمها.

أسئلة شائعة

هل يجيب الذكاء الاصطناعي بلغة الواجهة أم بلغة المستخدم؟

اجعل الافتراضي لغة رسالة المستخدم، واسمح له بتغييرها. فلغة الواجهة تخبرك فقط بطريقة ترتيب الشاشة. والمستخدم الذي يستعمل واجهة عربية ويكتب بالإنجليزية يريد غالبًا إجابة بالإنجليزية.

كيف أعرض نصًا إنجليزيًا داخل فقاعة دردشة عربية؟

أعطِ كل عنصر رسالة dir="auto" ليحدّد المتصفح اتجاهه من أول حرف قوي فيه، وضع الأسماء والرموز والروابط المُدرجة داخل عنصر bdi. وفي النص العادي، أحطها بالمحرفين U+2068 FIRST STRONG ISOLATE وU+2069 POP DIRECTIONAL ISOLATE.

هل يرى المستخدمون العرب الأرقام الهندية (١٢٣) أم الأرقام الغربية؟

يعتمد ذلك على المنطقة وعلى مستخدميك. في اختبارنا على Node 24، كان الافتراضي في ar-SA وar-EG الأرقام العربية الهندية، وفي ar-AE وar-MA الأرقام الغربية. اختر لكل لغة ومنطقة، ووفّر إعدادًا، واقبل الشكلين عند الإدخال بتوحيد الأرقام قبل التحليل.

كيف أكشف لغة رسالة الدردشة؟

للتمييز بين الحروف العربية واللاتينية، يكفي عدّ المحارف الواقعة في نطاق Unicode العربي. أما للتمييز بين الإنجليزية والإسبانية، أو للتعامل مع الرسائل القصيرة أو المختلطة، فاستخدم نموذجًا مدرَّبًا لتحديد اللغة مثل lid.176 من fastText، ومع ذلك تعامل مع النتيجة كتلميح.

هل العربية أغلى من الإنجليزية في LLM API؟

غالبًا، لكل رسالة، لأن كثيرًا من المُرمِّزات (tokenizers) تحتاج إلى رموز أكثر للمحتوى العربي نفسه. وتتوقف النسبة على مُرمِّز النموذج. قِسها على نصوصك أنت، وخطّط ميزانية كل لغة على حدة.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity

المصادر