BroadRouter

String aplikasi ke bahasa Arab dengan LLM: placeholder dan plural

Oleh tim BroadNet Inference · 7 menit baca · Dipublikasikan

Kirim string sebagai JSON dengan setiap placeholder diganti penanda, minta keenam bentuk plural bahasa Arab (zero, one, two, few, many, other), dan bangun plural ICU di kode, bukan di model. Validasi di CI: kunci sama, argumen dan tag sama, keenam bentuk ada. Bungkus nama yang disisipkan dengan isolate Unicode agar teks kanan-ke-kiri tampil dengan benar.

Menerjemahkan file string aplikasi berbeda dari menerjemahkan prosa. Setiap nilai pendek, sering tanpa konteks, dan membawa sintaks yang tidak boleh disentuh model: placeholder, tag HTML, dan aturan plural. Bahasa Arab membuat yang terakhir sulit. File bahasa Inggris berisi dua bentuk plural; bahasa Arab membutuhkan enam. Artikel ini membangun pipeline kecil di atas LLM yang kompatibel dengan OpenAI: bekukan placeholder, minta enam string plural biasa, rakit sintaks ICU di kode, lalu validasi semuanya di CI.

Untuk menerjemahkan dokumen, tiket, dan kontrak, lihat terjemahan Arab–Inggris dengan LLM, yang membahas nada, glosarium, dan evaluasi untuk prosa.

Mengapa plural bahasa Arab merusak file string hasil terjemahan mesin?

Unicode CLDR, yang diikuti oleh Intl.PluralRules, ICU, dan i18next, memberi bahasa Arab enam kategori kardinal:

Kategori Aturan CLDR Contoh bilangan Contoh: “file”
zero n = 0 0 لا توجد ملفات
one n = 1 1 ملف واحد
two n = 2 2 ملفان (dual)
few n % 100 = 3..10 3–10, 103–110 5 ملفات (jamak)
many n % 100 = 11..99 11–99, 111 11 ملفًا (tunggal, akusatif)
other selain itu 100–102, 1000, 0.5 100 ملف (tunggal)

Dua detail sering menjebak. Pertama, kategori bukanlah bilangannya: 103 masuk few dan 111 masuk many. Kedua, sumber bahasa Inggris hanya memberi model one dan other, jadi model harus mengarang empat bentuk dari tata bahasa saja. Sebagian besar kegagalan terjadi karena model menyalin pasangan bahasa Inggris.

Kegagalannya senyap. Kami merender pesan bahasa Arab yang hanya berisi one dan other dengan intl-messageformat 12.1.5: 0, 2, dan 11 file semuanya keluar sebagai “N ملف”. i18next 27.1.2 berperilaku sama ketika kunci _many hilang: 11 file menampilkan teks _other. Tidak ada error, tidak ada peringatan, hanya bahasa Arab yang salah.

Bagaimana sebaiknya string dikirim ke model?

Kirim secara batch. Satu permintaan per string memboroskan token untuk system prompt dan kehilangan konteks antar-string yang berkaitan. Kirim 50 hingga 200 kunci sekaligus sebagai objek JSON, dikelompokkan per layar atau fitur, agar “Save” di sebelah “Cancel” terbaca sebagai tombol.

Tiga aturan membuat balasan bisa dicek:

  1. Bekukan placeholder. Ganti {name}, placeholder i18next berkurung kurawal ganda, %s, %1$s, dan tag seperti <b> dengan penanda seperti ⟦0⟧. Model melihat “Welcome back, ⟦0⟧!” dan tidak bisa menerjemahkan name menjadi اسم.
  2. Minta bentuk plural sebagai string biasa. Kirim teks one dan other bahasa Inggris dan minta enam string bahasa Arab. Kode yang membangun sintaks ICU. Model tidak pernah menulis kurung kurawal.
  3. Berikan glosarium dan daftar jangan-diterjemahkan. Nama produk, nama paket, dan istilah yang dipakai tim dukungan Anda. Bagian glosarium di artikel terjemahan menjelaskan mengapa ini lebih penting daripada pilihan model.

Skrip terjemahan

File sumber memakai ICU MessageFormat, sintaks yang didokumentasikan FormatJS. Pembekuan yang sama juga bekerja untuk format JSON milik i18next, yang kunci pluralnya berakhiran _zero, _one, _two, _few, _many, dan _other.

{
  "save": "Save",
  "welcome": "Welcome back, {name}!",
  "invite": "<b>{inviter}</b> invited you to the {workspace} workspace",
  "billing": "Pay with AcmePay",
  "files": "{count, plural, one {# file} other {# files}}"
}
import json, os, re
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

FORMS = ["zero", "one", "two", "few", "many", "other"]
# ICU arguments, double-brace and printf placeholders, HTML-style tags
PH = re.compile(r"\{\{\s*\w+\s*\}\}|\{\w+\}|%(?:\d+\$)?[sdif@]|</?\w+[^>]*>")
PLURAL = re.compile(r"^\{(\w+), plural,(.*)\}$", re.S)

def freeze(text):
    """Replace each placeholder with ⟦n⟧ so the model cannot translate or break it."""
    found = PH.findall(text)
    for i, p in enumerate(found):
        text = text.replace(p, f"⟦{i}⟧", 1)
    return text, found

def thaw(text, found):
    for i, p in enumerate(found):
        text = text.replace(f"⟦{i}⟧", p)
    return text

def branches(body):
    """'one {# file} other {# files}' -> {'one': '# file', 'other': '# files'}."""
    out, i = {}, 0
    while i < len(body):
        m = re.compile(r"\s*([=\w]+)\s*\{").match(body, i)
        if not m:
            break
        depth, j = 1, m.end()
        while depth:
            depth += {"{": 1, "}": -1}.get(body[j], 0)
            j += 1
        out[m.group(1)] = body[m.end():j - 1]
        i = j
    return out

SYSTEM = """You translate app interface strings from English to Modern Standard Arabic.
Reply with one JSON object only: {"STRINGS": {key: Arabic}, "PLURALS": {key: {six forms}}}.
Rules:
- ⟦0⟧, ⟦1⟧ ... are placeholders. Keep every one exactly once and unchanged; move it if Arabic word order needs it.
- # stands for the number. Keep it where the number should appear.
- Interface style: short, no full stops on buttons or labels.
- Never translate terms in DO_NOT_TRANSLATE. Use GLOSSARY translations exactly.
- For each PLURALS key, return all six Arabic forms: zero, one, two, few, many, other.
  zero = none; one = singular without a number; two = dual without a number;
  few = 3-10: # + plural noun; many = 11-99: # + singular noun in the accusative;
  other = 100, 1000 and also 0.5 and 1.5: # + singular noun."""

def translate(src, glossary=None, dnt=(), model="broadnet/qwen3.8-27b"):
    strings, plurals, frozen = {}, {}, {}
    for key, text in src.items():
        m = PLURAL.match(text)
        if m:
            b = branches(m.group(2))
            fone, ph = freeze(b.get("one", b["other"]))
            fother, _ = freeze(b["other"])
            plurals[key] = {"one": fone, "other": fother}
            frozen[key] = (m.group(1), ph)
        elif "{" in PH.sub("", text):
            raise ValueError(f"{key}: nested ICU, send to a human")
        else:
            strings[key], ph = freeze(text)
            frozen[key] = (None, ph)
    payload = {"STRINGS": strings, "PLURALS": plurals,
               "GLOSSARY": glossary or {}, "DO_NOT_TRANSLATE": list(dnt)}
    r = client.chat.completions.create(
        model=model, max_tokens=4000, temperature=0.2,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": json.dumps(payload, ensure_ascii=False)}])
    out = json.loads(r.choices[0].message.content)
    ar = {k: thaw(v, frozen[k][1]) for k, v in out.get("STRINGS", {}).items() if k in frozen}
    for k, forms in out.get("PLURALS", {}).items():
        if k not in frozen:
            continue
        arg, ph = frozen[k]
        ar[k] = "{%s, plural, %s}" % (arg, " ".join(
            f + " {" + thaw(forms[f], ph) + "}" for f in FORMS if f in forms))
    return ar

en = json.load(open("en.json"))
ar = translate(en, glossary={"workspace": "مساحة العمل"}, dnt=["AcmePay"])
json.dump(ar, open("ar.json", "w"), ensure_ascii=False, indent=2)

Kami menjalankannya dengan OpenAI Python SDK terhadap server mock lokal, bukan API live, dengan balasan bahasa Arab siap pakai. Permintaan yang akan dilihat model berisi “Welcome back, ⟦0⟧!” dan “⟦0⟧⟦1⟧⟦2⟧ invited you to the ⟦3⟧ workspace”, dan skrip menulis ar.json ini:

{
  "save": "حفظ",
  "welcome": "مرحبًا بعودتك يا {name}!",
  "invite": "دعاك <b>{inviter}</b> إلى مساحة العمل {workspace}",
  "billing": "ادفع عبر AcmePay",
  "files": "{count, plural, zero {لا توجد ملفات} one {ملف واحد} two {ملفان} few {# ملفات} many {# ملفًا} other {# ملف}}"
}

Catatan tentang kode:

  • Penanda berpindah, tidak hilang. Bahasa Arab sering meletakkan kata kerja di depan, jadi ⟦0⟧ bisa berpindah. Cek di bawah menghitung penanda; tidak peduli di mana letaknya.
  • ICU bersarang diserahkan ke manusia. select di dalam plural jarang ada dan mudah rusak. Skrip menolaknya alih-alih menebak.
  • max_tokens=4000 menyisakan ruang untuk penalaran. Dokumentasi BroadNet menyebutkan DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B melakukan penalaran sebelum menjawab, dan penalaran itu dihitung ke max_tokens. Lihat respons kosong dari model penalaran.
  • json.loads bisa gagal. Bungkus dan kirim ulang sekali bersama error-nya; memperbaiki JSON tidak valid dari LLM berisi fungsi perbaikan yang sudah diuji. Pada GLM 5.3 dan Qwen3.8 27B, dua model BroadNet yang terdokumentasi mendukung output terstruktur, tambahkan juga skema response_format. Cek di bawah tetap dipakai dalam kedua kasus.

Bagaimana memvalidasi file bahasa Arab di CI?

Parse setiap pesan dengan parser yang sama yang dipakai aplikasi Anda saat runtime, dan bandingkan dengan sumbernya. Skrip Node ini memakai @formatjs/icu-messageformat-parser (versi 3.5.23 dalam tes kami):

// node check-ar.mjs en.json ar.json  -> exits 1 on any problem
import { readFileSync } from "node:fs";
import { parse, TYPE } from "@formatjs/icu-messageformat-parser";

const AR_FORMS = ["zero", "one", "two", "few", "many", "other"];
const [en, ar] = process.argv.slice(2).map((p) => JSON.parse(readFileSync(p, "utf8")));
const errors = [];

// Collect argument and tag names; return the plural elements too.
function walk(nodes, names = [], plurals = []) {
  for (const n of nodes) {
    if (n.type === TYPE.literal || n.type === TYPE.pound) continue;
    names.push(n.type === TYPE.tag ? `<${n.value}>` : `{${n.value}}`);
    if (n.type === TYPE.tag) walk(n.children, names, plurals);
    if (n.type === TYPE.plural) plurals.push(n);
    if (n.options) for (const o of Object.values(n.options)) walk(o.value, [], plurals);
  }
  return { names: names.sort().join(" "), plurals };
}

for (const key of Object.keys(en)) {
  if (!(key in ar)) { errors.push(`${key}: missing`); continue; }
  let src, dst;
  try { src = walk(parse(en[key])); dst = walk(parse(ar[key], { requiresOtherClause: true })); }
  catch (e) { errors.push(`${key}: ICU syntax error ${e.message}`); continue; }
  if (src.names !== dst.names) errors.push(`${key}: arguments differ: [${src.names}] vs [${dst.names}]`);
  for (const p of dst.plurals) {
    const missing = AR_FORMS.filter((f) => !(f in p.options));
    if (missing.length) errors.push(`${key}: plural {${p.value}} lacks ${missing.join(", ")}`);
  }
  if (!/[؀-ۿ]/.test(ar[key])) errors.push(`${key}: no Arabic letters`);
  if (/⟦\d+⟧/.test(ar[key])) errors.push(`${key}: placeholder marker left in text`);
}
for (const key of Object.keys(ar)) if (!(key in en)) errors.push(`${key}: not in source`);
console.log(errors.join("\n") || "ok");
process.exit(errors.length ? 1 : 0);

Pada file di atas, skrip mencetak ok. Lalu kami membuat balasan mock menghilangkan bentuk many dan penanda {workspace}. Skrip keluar dengan kode 1 dan mencetak:

invite: arguments differ: [<b> {inviter} {workspace}] vs [<b> {inviter}]
files: plural {count} lacks many

Aturan “tidak ada huruf Arab” menandai string yang dibiarkan model dalam bahasa Inggris. Aturan ini juga menandai nilai yang hanya berupa nama produk atau angka, jadi simpan allow-list untuk itu. Untuk format milik i18next, terapkan cek yang sama per kunci: setiap pasangan _one/_other di bahasa Inggris membutuhkan keenam kunci bersufiks di bahasa Arab, dan masing-masing membutuhkan placeholder yang sama, kecuali _zero, _one, dan _two boleh menghilangkan count.

Terakhir, render beberapa bilangan lewat formatter Anda yang sebenarnya. Dengan intl-messageformat 12.1.5, pesan files di atas menghasilkan 0 → لا توجد ملفات, 2 → ملفان, 5 → 5 ملفات, 11 → 11 ملفًا, 102 → 102 ملف, dan 111 → 111 ملفًا. Cek acak itu menangkap bentuk yang lolos parse tetapi memakai kata benda yang salah.

Bagaimana dengan tampilan kanan-ke-kiri?

Terjemahan membuat kata-katanya benar; browser tetap harus mengurutkannya. Saat nama Latin atau angka disisipkan ke kalimat Arab, algoritma bidirectional Unicode bisa memindahkan tanda baca atau menukar urutan bagian yang bersebelahan. Saran W3C adalah mengisolasi teks yang disisipkan: bungkus dengan <bdi> atau elemen ber-dir="auto" di HTML, atau apit dengan U+2068 FIRST STRONG ISOLATE dan U+2069 POP DIRECTIONAL ISOLATE di teks biasa, seperti push notification.

Lakukan ini di tempat Anda melakukan interpolasi, bukan di terjemahan. Dalam tes kami, memformat pesan sambutan dengan nama yang dibungkus U+2068 dan U+2069 mempertahankan kedua karakter itu di output dan tidak menyentuh teks Arabnya. Atur juga dir="rtl" dan lang="ar" pada halaman atau container. Prompt engineering bahasa Arab berisi checklist singkat untuk bug tampilan RTL.

Digit adalah pilihan formatter, bukan pilihan terjemahan. Pertahankan # atau argumennya di string. Di Node 24 (ICU 78.3), Intl.NumberFormat menulis 1234 sebagai 1,234 untuk ar dan sebagai ١٬٢٣٤ untuk ar-EG dan ar-SA. Pilih tag locale yang sesuai dengan pasar Anda. Untuk pertanyaan produk yang lebih luas (locale antarmuka versus bahasa model, bubble chat dengan arah campuran, deteksi bahasa, dan biaya per bahasa), lihat merancang pengalaman AI untuk banyak bahasa.

Siapa yang sebaiknya meninjau output?

Pipeline LLM dengan cek-cek ini menjamin file-nya berformat benar. Pipeline itu tidak menjamin bahasa Arabnya benar. Minta penutur bahasa Arab meninjau:

  • Hanya string baru dan yang berubah. Bandingkan en.json dengan rilis terakhir dan terjemahkan hanya yang berubah. Tinjauan tetap kecil, dan string yang sudah disetujui tidak pernah bergeser.
  • Bentuk plural, kata demi kata. Kesesuaian dengan bilangan adalah tempat model paling sering tergelincir, terutama akusatif setelah 11 hingga 99.
  • Gender. Dalam bahasa Arab, “Anda” dan kata kerja berubah menurut gender pembaca. Jika UI Anda menyapa pengguna secara langsung, tentukan konvensinya, seperti bentuk tetap atau parafrase netral, dan masukkan ke system prompt.
  • Panjang. String bahasa Arab bisa lebih panjang atau lebih pendek daripada bahasa Inggris. Cek tombol dan tab di layout sebenarnya pada lebar mobile.

Simpan file glosarium yang sudah ditinjau di repo dan kirim bersama setiap permintaan, agar istilah yang disetujui tetap konsisten.

Berapa biayanya?

File string itu kecil. Output kira-kira sepanjang input, dan bahasa Arab biasanya membutuhkan lebih banyak token per kata daripada bahasa Inggris; token per kata dalam bahasa Arab dan Inggris berisi rasio hasil pengukuran. Tempel satu batch ke penghitung token bahasa Arab, kalikan dengan jumlah batch, dan tambahkan system prompt ke masing-masing. Model penalaran juga menghabiskan token untuk berpikir; BroadNet melaporkannya di usage sebagai completion_tokens_details.reasoning_tokens, jadi baca usage dari permintaan nyata sebelum Anda mengekstrapolasi.

Model Catatan untuk pekerjaan ini Input / output per 1 juta token
Qwen3.8 27B Output terstruktur terdokumentasi $0.175 / $2.17
GLM 5.3 Output terstruktur terdokumentasi; konteks 1.048.576 token $0.78 / $3.46
Gemma 4 VL 26B Bisa dipakai dengan kredit awal $5; JSON hanya lewat prompt, jadi validator makin penting $0.10 / $0.22
DeepSeek V4.1 Flash Juga tersedia di paket harga tetap, seperti $15 per minggu per sesi, satu permintaan sekaligus per sesi $0.175 / $0.52

Harga dari feed harga BroadNet, diperbarui 2026-11-14. Terjemahkan 100 string yang sama dengan dua model dan minta peninjau Anda membandingkannya sebelum memilih; harga per token kurang penting dibanding jumlah perbaikan. Untuk ribuan kunci dalam banyak bahasa, pemrosesan batch tanpa Batch API membahas konkurensi dan percobaan ulang.

Di mana posisi BroadNet Inference?

BroadRouter adalah situs milik BroadNet sendiri. BroadNet Inference memberi akses yang kompatibel dengan OpenAI ke model-model di atas, jadi skripnya berjalan dengan OpenAI Python SDK setelah base URL dan ID model diganti; cek referensi API untuk parameter yang didukung setiap model. BroadNet tidak punya endpoint terjemahan dan tidak menerbitkan benchmark lokalisasi, jadi validator dan peninjau manusia tetap menjadi gerbang kualitas Anda. Platform lokalisasi khusus menambahkan translation memory, alur kerja peninjau, dan screenshot dalam konteks; jika Anda membutuhkannya, pakai salah satunya dan pertahankan cek CI di atas sebagai lapisan kedua.

Pertanyaan umum

Berapa banyak bentuk plural dalam bahasa Arab?

Enam kategori kardinal di Unicode CLDR: zero (0), one (1), two (2), few (bilangan berakhiran 03 hingga 10, seperti 3 hingga 10 dan 103), many (berakhiran 11 hingga 99), dan other (100 hingga 102, 1000, dan desimal seperti 0.5). File bahasa Inggris hanya punya one dan other.

Bisakah ChatGPT atau LLM lain menerjemahkan file JSON i18n saya ke bahasa Arab?

Bisa, jika Anda mengendalikan formatnya. Kirim nilainya saja, ganti placeholder dengan penanda, minta enam bentuk plural, dan cek hasilnya di kode: kunci, argumen, tag, dan kategori plural. Minta penutur bahasa Arab meninjau string baru sebelum rilis.

Apa yang terjadi jika terjemahan bahasa Arab kehilangan satu bentuk plural?

Biasanya tidak ada yang tampak gagal. i18next dan intl-messageformat kembali ke bentuk other, sehingga 2 file tampil sebagai "2 ملف", bukan bentuk dual ملفان. Hanya validator yang mewajibkan keenam bentuk yang menangkapnya sebelum pengguna melihatnya.

Haruskah LLM menulis sintaks ICU MessageFormat sendiri?

Sebaiknya tidak. Minta enam string biasa per pesan plural dan rakit sintaks ICU di kode. Model sesekali menghilangkan kurung kurawal atau menerjemahkan nama argumen, dan error parser kemudian merusak seluruh bundle saat runtime.

Digit apa yang sebaiknya dipakai string UI bahasa Arab?

Biarkan formatter angka yang menentukan, bukan terjemahannya. Pertahankan # atau argumennya di string. Dalam tes Node 24 kami, Intl.NumberFormat memformat 1234 sebagai 1,234 untuk ar dan ١٬٢٣٤ untuk ar-EG dan ar-SA, jadi tag locale yang menentukan digitnya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity