Ibang trabaho ang pag-translate ng string files ng app kaysa sa pag-translate ng prosa. Maikli ang bawat value, kadalasang walang konteksto, at may dalang syntax na hindi dapat galawin ng model: placeholder, HTML tag at plural rule. Pinahihirap ng Arabic ang huli. Dalawang plural form ang nasa English na file; anim ang kailangan ng Arabic. Gumagawa ang post na ito ng maliit na pipeline sa isang OpenAI-compatible LLM: i-freeze ang mga placeholder, humingi ng anim na plain na plural string, buuin sa code ang ICU syntax, saka i-validate lahat sa CI.
Para sa pag-translate ng mga dokumento, ticket at kontrata, tingnan ang Arabic–English translation gamit ang LLM, na tumatalakay sa tono, glossary at evaluation para sa prosa.
Bakit sinisira ng Arabic plural ang machine-translated na string files?
Anim na cardinal category ang ibinibigay ng Unicode CLDR sa Arabic, na sinusunod ng Intl.PluralRules, ICU at i18next:
| Category | CLDR rule | Halimbawang numero | Halimbawa: “file” |
|---|---|---|---|
| zero | n = 0 | 0 | لا توجد ملفات |
| one | n = 1 | 1 | ملف واحد |
| two | n = 2 | 2 | ملفان (dual) |
| few | n % 100 = 3..10 | 3–10, 103–110 | 5 ملفات (plural) |
| many | n % 100 = 11..99 | 11–99, 111 | 11 ملفًا (singular, accusative) |
| other | lahat ng iba pa | 100–102, 1000, 0.5 | 100 ملف (singular) |
Dalawang detalye ang madalas makahuli sa mga tao. Una, hindi ang mga numero ang mga category: few ang 103 at many ang 111. Ikalawa, one at other lang ang ibinibigay ng English na source sa model, kaya kailangan nitong imbentuhin ang apat na form mula sa grammar lang. Karamihan ng palya ay galing sa pagkopya ng model sa English na pares.
Tahimik ang palya. Nag-render kami ng Arabic message na one at other lang ang laman gamit ang intl-messageformat 12.1.5: lumabas lahat bilang “N ملف” ang 0, 2 at 11 file. Ganoon din ang i18next 27.1.2 nang nawawala ang _many key: ipinakita ng 11 file ang _other na text. Walang error, walang babala, maling Arabic lang.
Paano dapat ipadala ang mga string sa model?
I-batch ang mga ito. Sinasayang ng isang request kada string ang token sa system prompt at nawawala ang konteksto sa pagitan ng magkakaugnay na string. Magpadala ng 50 hanggang 200 key sa isang pagkakataon bilang JSON object, nakapangkat ayon sa screen o feature para mabasa bilang button ang “Save” sa tabi ng “Cancel”.
Tatlong patakaran ang nagpapa-check sa sagot:
- I-freeze ang mga placeholder. Palitan ng mga marker gaya ng ⟦0⟧ ang
{name}, ang double-brace na placeholder ng i18next,%s,%1$sat mga tag gaya ng<b>. “Welcome back, ⟦0⟧!” ang nakikita ng model at hindi nito kayang i-translate angnamebilang اسم. - Humingi ng plural form bilang plain string. Ipadala ang English na
oneatotherna text at humingi ng anim na Arabic string. Code ang bumubuo ng ICU syntax. Hindi kailanman sumusulat ng brace ang model. - Magbigay ng glossary at listahan ng hindi isasalin. Mga pangalan ng produkto, pangalan ng plan at mga terminong ginagamit ng support team mo. Ipinapaliwanag ng glossary section ng translation post kung bakit mas mahalaga ito kaysa sa pagpili ng model.
Ang translation script
ICU MessageFormat ang gamit ng source file, ang syntax na dokumentado ng FormatJS. Gumagana rin ang parehong pag-freeze sa sariling JSON format ng i18next, na ang mga plural key ay nagtatapos sa _zero, _one, _two, _few, _many at _other.
{
"save": "Save",
"welcome": "Welcome back, {name}!",
"invite": "<b>{inviter}</b> invited you to the {workspace} workspace",
"billing": "Pay with AcmePay",
"files": "{count, plural, one {# file} other {# files}}"
}
import json, os, re
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
FORMS = ["zero", "one", "two", "few", "many", "other"]
# ICU arguments, double-brace and printf placeholders, HTML-style tags
PH = re.compile(r"\{\{\s*\w+\s*\}\}|\{\w+\}|%(?:\d+\$)?[sdif@]|</?\w+[^>]*>")
PLURAL = re.compile(r"^\{(\w+), plural,(.*)\}$", re.S)
def freeze(text):
"""Replace each placeholder with ⟦n⟧ so the model cannot translate or break it."""
found = PH.findall(text)
for i, p in enumerate(found):
text = text.replace(p, f"⟦{i}⟧", 1)
return text, found
def thaw(text, found):
for i, p in enumerate(found):
text = text.replace(f"⟦{i}⟧", p)
return text
def branches(body):
"""'one {# file} other {# files}' -> {'one': '# file', 'other': '# files'}."""
out, i = {}, 0
while i < len(body):
m = re.compile(r"\s*([=\w]+)\s*\{").match(body, i)
if not m:
break
depth, j = 1, m.end()
while depth:
depth += {"{": 1, "}": -1}.get(body[j], 0)
j += 1
out[m.group(1)] = body[m.end():j - 1]
i = j
return out
SYSTEM = """You translate app interface strings from English to Modern Standard Arabic.
Reply with one JSON object only: {"STRINGS": {key: Arabic}, "PLURALS": {key: {six forms}}}.
Rules:
- ⟦0⟧, ⟦1⟧ ... are placeholders. Keep every one exactly once and unchanged; move it if Arabic word order needs it.
- # stands for the number. Keep it where the number should appear.
- Interface style: short, no full stops on buttons or labels.
- Never translate terms in DO_NOT_TRANSLATE. Use GLOSSARY translations exactly.
- For each PLURALS key, return all six Arabic forms: zero, one, two, few, many, other.
zero = none; one = singular without a number; two = dual without a number;
few = 3-10: # + plural noun; many = 11-99: # + singular noun in the accusative;
other = 100, 1000 and also 0.5 and 1.5: # + singular noun."""
def translate(src, glossary=None, dnt=(), model="broadnet/qwen3.8-27b"):
strings, plurals, frozen = {}, {}, {}
for key, text in src.items():
m = PLURAL.match(text)
if m:
b = branches(m.group(2))
fone, ph = freeze(b.get("one", b["other"]))
fother, _ = freeze(b["other"])
plurals[key] = {"one": fone, "other": fother}
frozen[key] = (m.group(1), ph)
elif "{" in PH.sub("", text):
raise ValueError(f"{key}: nested ICU, send to a human")
else:
strings[key], ph = freeze(text)
frozen[key] = (None, ph)
payload = {"STRINGS": strings, "PLURALS": plurals,
"GLOSSARY": glossary or {}, "DO_NOT_TRANSLATE": list(dnt)}
r = client.chat.completions.create(
model=model, max_tokens=4000, temperature=0.2,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": json.dumps(payload, ensure_ascii=False)}])
out = json.loads(r.choices[0].message.content)
ar = {k: thaw(v, frozen[k][1]) for k, v in out.get("STRINGS", {}).items() if k in frozen}
for k, forms in out.get("PLURALS", {}).items():
if k not in frozen:
continue
arg, ph = frozen[k]
ar[k] = "{%s, plural, %s}" % (arg, " ".join(
f + " {" + thaw(forms[f], ph) + "}" for f in FORMS if f in forms))
return ar
en = json.load(open("en.json"))
ar = translate(en, glossary={"workspace": "مساحة العمل"}, dnt=["AcmePay"])
json.dump(ar, open("ar.json", "w"), ensure_ascii=False, indent=2)
Pinatakbo namin ito gamit ang OpenAI Python SDK laban sa isang local mock server, hindi sa live API, na may nakahandang Arabic na sagot. Laman ng request na makikita sana ng model ang “Welcome back, ⟦0⟧!” at “⟦0⟧⟦1⟧⟦2⟧ invited you to the ⟦3⟧ workspace”, at isinulat ng script ang ar.json na ito:
{
"save": "حفظ",
"welcome": "مرحبًا بعودتك يا {name}!",
"invite": "دعاك <b>{inviter}</b> إلى مساحة العمل {workspace}",
"billing": "ادفع عبر AcmePay",
"files": "{count, plural, zero {لا توجد ملفات} one {ملف واحد} two {ملفان} few {# ملفات} many {# ملفًا} other {# ملف}}"
}
Mga tala sa code:
- Gumagalaw ang mga marker, hindi nawawala. Madalas inuuna ng Arabic ang verb, kaya puwedeng lumipat ang ⟦0⟧. Binibilang ng check sa ibaba ang mga marker; wala itong pakialam kung saan sila nakalagay.
- Sa tao napupunta ang nested ICU. Bihira at madaling masira ang
selectsa loob ngplural. Tinatanggihan ito ng script sa halip na manghula. - Nag-iiwan ng puwang para sa reasoning ang
max_tokens=4000. Ayon sa docs ng BroadNet, nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, at kasama ang reasoning sa max_tokens. Tingnan ang walang lamang sagot mula sa mga reasoning model. - Puwedeng pumalya ang
json.loads. Balutin ito at ipadala muli nang isang beses kasama ang error; may tested na repair function ang pag-aayos ng invalid JSON mula sa LLM. Sa GLM 5.3 at Qwen3.8 27B, ang dalawang BroadNet model na dokumentado ang structured output, magdagdag din ngresponse_formatschema. Mananatili ang check sa ibaba alinman ang piliin.
Paano i-validate ang Arabic file sa CI?
I-parse ang bawat message gamit ang parehong parser na ginagamit ng app mo sa runtime, at ikumpara sa source. Gumagamit ang Node script na ito ng @formatjs/icu-messageformat-parser (version 3.5.23 sa test namin):
// node check-ar.mjs en.json ar.json -> exits 1 on any problem
import { readFileSync } from "node:fs";
import { parse, TYPE } from "@formatjs/icu-messageformat-parser";
const AR_FORMS = ["zero", "one", "two", "few", "many", "other"];
const [en, ar] = process.argv.slice(2).map((p) => JSON.parse(readFileSync(p, "utf8")));
const errors = [];
// Collect argument and tag names; return the plural elements too.
function walk(nodes, names = [], plurals = []) {
for (const n of nodes) {
if (n.type === TYPE.literal || n.type === TYPE.pound) continue;
names.push(n.type === TYPE.tag ? `<${n.value}>` : `{${n.value}}`);
if (n.type === TYPE.tag) walk(n.children, names, plurals);
if (n.type === TYPE.plural) plurals.push(n);
if (n.options) for (const o of Object.values(n.options)) walk(o.value, [], plurals);
}
return { names: names.sort().join(" "), plurals };
}
for (const key of Object.keys(en)) {
if (!(key in ar)) { errors.push(`${key}: missing`); continue; }
let src, dst;
try { src = walk(parse(en[key])); dst = walk(parse(ar[key], { requiresOtherClause: true })); }
catch (e) { errors.push(`${key}: ICU syntax error ${e.message}`); continue; }
if (src.names !== dst.names) errors.push(`${key}: arguments differ: [${src.names}] vs [${dst.names}]`);
for (const p of dst.plurals) {
const missing = AR_FORMS.filter((f) => !(f in p.options));
if (missing.length) errors.push(`${key}: plural {${p.value}} lacks ${missing.join(", ")}`);
}
if (!/[-ۿ]/.test(ar[key])) errors.push(`${key}: no Arabic letters`);
if (/⟦\d+⟧/.test(ar[key])) errors.push(`${key}: placeholder marker left in text`);
}
for (const key of Object.keys(ar)) if (!(key in en)) errors.push(`${key}: not in source`);
console.log(errors.join("\n") || "ok");
process.exit(errors.length ? 1 : 0);
Sa file sa itaas, nag-print ito ng ok. Pagkatapos ay pinatanggal namin sa mock na sagot ang many na form at ang {workspace} na marker. Lumabas ang script na may exit code 1 at nag-print ng:
invite: arguments differ: [<b> {inviter} {workspace}] vs [<b> {inviter}]
files: plural {count} lacks many
Minamarkahan ng patakarang “no Arabic letters” ang mga string na iniwan ng model sa English. Minamarkahan din nito ang mga value na pangalan ng produkto o numero lang, kaya magtago ng allow-list para sa mga iyon. Para sa sariling format ng i18next, ilapat ang parehong check kada key: bawat _one/_other na pares sa English ay nangangailangan ng anim na key na may suffix sa Arabic, at pareho ang placeholder ng bawat isa, maliban na puwedeng walang count ang _zero, _one at _two.
Panghuli, mag-render ng ilang numero sa tunay mong formatter. Gamit ang intl-messageformat 12.1.5, ibinigay ng files message sa itaas ang 0 → لا توجد ملفات, 2 → ملفان, 5 → 5 ملفات, 11 → 11 ملفًا, 102 → 102 ملف at 111 → 111 ملفًا. Nahuhuli ng spot check na iyan ang form na nagpa-parse pero maling noun ang gamit.
Paano naman ang right-to-left na display?
Tinitiyak ng translation na tama ang mga salita; ang browser pa rin ang mag-aayos ng pagkakasunod. Kapag ipinasok ang Latin na pangalan o numero sa Arabic na pangungusap, puwedeng ilipat ng Unicode bidirectional algorithm ang bantas o pagpalitin ang magkatabing run. Payo ng W3C na i-isolate ang ipinapasok na text: balutin sa <bdi> o sa element na may dir="auto" sa HTML, o palibutan ng U+2068 FIRST STRONG ISOLATE at U+2069 POP DIRECTIONAL ISOLATE sa plain text, gaya ng push notification.
Gawin ito kung saan ka nag-i-interpolate, hindi sa translation. Sa test namin, nang i-format ang welcome message na nakabalot sa U+2068 at U+2069 ang pangalan, nanatili ang dalawang character sa output at hindi nagalaw ang Arabic. Itakda rin ang dir="rtl" at lang="ar" sa page o container. May maikling checklist para sa mga RTL display bug ang Arabic prompt engineering.
Desisyon ng formatter ang mga digit, hindi ng translation. Panatilihin ang # o ang argument sa string. Sa Node 24 (ICU 78.3), isinulat ng Intl.NumberFormat ang 1234 bilang 1,234 para sa ar at bilang ١٬٢٣٤ para sa ar-EG at ar-SA. Piliin ang locale tag na tugma sa market mo. Para sa mas malawak na tanong sa produkto (interface locale laban sa wika ng model, chat bubble na halo-halo ang direksyon, language detection at gastos kada wika), tingnan ang pagdisenyo ng AI experience para sa maraming wika.
Sino ang dapat mag-review ng output?
Tinitiyak ng LLM pipeline na may ganitong mga check na maayos ang anyo ng file. Hindi nito tinitiyak na tama ang Arabic. Ipa-review sa isang Arabic speaker ang:
- Mga bago at binagong string lang. I-diff ang
en.jsonlaban sa huling release at i-translate lang ang nagbago. Nananatiling maliit ang mga review, at hindi na gumagalaw ang mga naaprubahang string. - Mga plural form, salita por salita. Sa pagtutugma sa mga numero pinakamadalas madulas ang model, lalo na sa accusative pagkatapos ng 11 hanggang 99.
- Gender. Nagbabago sa Arabic ang “ikaw” at ang mga verb ayon sa gender ng mambabasa. Kung direktang kinakausap ng UI mo ang mga user, magpasya ng convention, gaya ng fixed na form o neutral na pagkakasabi, at ilagay ito sa system prompt.
- Haba. Puwedeng mas mahaba o mas maikli ang Arabic na string kaysa sa English. I-check ang mga button at tab sa tunay na layout sa mobile na lapad.
Magtago ng nai-review na glossary file sa repo at ipadala ito sa bawat request, para manatiling fixed ang mga naaprubahang termino.
Magkano ito?
Maliit ang string files. Halos kasinghaba ng input ang output, at karaniwang mas maraming token kada salita ang kailangan ng Arabic kaysa sa English; may mga nasukat na ratio sa token kada salita sa Arabic at English. Mag-paste ng isang batch sa Arabic token counter, i-multiply sa bilang ng batch, at idagdag ang system prompt sa bawat isa. Gumagastos din ng token sa pag-iisip ang mga reasoning model; iniuulat ito ng BroadNet sa usage bilang completion_tokens_details.reasoning_tokens, kaya basahin ang usage mula sa isang totoong request bago mag-extrapolate.
| Model | Mga tala para sa trabahong ito | Input / output kada 1M token |
|---|---|---|
| Qwen3.8 27B | Dokumentado ang structured output | $0.175 / $2.17 |
| GLM 5.3 | Dokumentado ang structured output; 1,048,576-token na context | $0.78 / $3.46 |
| Gemma 4 VL 26B | Tumatakbo sa $5 na panimulang credit; JSON sa prompt lang, kaya mas mahalaga ang validator | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | Mayroon ding flat na plan, gaya ng $15 kada linggo kada session, isang request sa isang pagkakataon kada session | $0.175 / $0.52 |
Galing ang mga presyo sa pricing feed ng BroadNet, na-update noong 2026-11-14. I-translate ang parehong 100 string gamit ang dalawang model at ipakumpara sa reviewer mo bago pumili; mas mahalaga ang bilang ng kailangang ayusin kaysa sa presyo kada token. Para sa libu-libong key sa maraming wika, tinatalakay ng batch processing nang walang Batch API ang concurrency at retry.
Saan pumapasok ang BroadNet Inference
Ang BroadRouter ay sariling website ng BroadNet. Nagbibigay ang BroadNet Inference ng OpenAI-compatible na access sa mga model sa itaas, kaya tumatakbo ang script gamit ang OpenAI Python SDK pagkatapos palitan ang base URL at model ID; i-check ang API reference para sa mga parameter na suportado ng bawat model. Wala itong translation endpoint at wala itong inilathalang localisation benchmark, kaya ang validator at isang human reviewer pa rin ang quality gate mo. Nagdadagdag ang mga dedicated na localisation platform ng translation memory, reviewer workflow at in-context na screenshot; kung kailangan mo ang mga iyon, gumamit ng isa at panatilihin ang CI check sa itaas bilang ikalawang linya.
