BroadRouter

अरबी OCR बनाम vision LLM: अरबी दस्तावेज़ और इनवॉइस पढ़ना

BroadNet Inference टीम · 5 मिनट में पढ़ें · प्रकाशित

पारंपरिक OCR अरबी पेज की इमेज को कच्चे टेक्स्ट में बदलता है; vision LLM इमेज पढ़कर आपके माँगे फ़ील्ड, जैसे वेंडर, तारीख़ और कुल रक़म, JSON में लौटाता है। इनवॉइस और रसीदों के लिए vision LLM आमतौर पर parsing का चरण बचाता है। BroadNet Inference पर Qwen3.8 27B, DeepSeek V4.1 Flash और BroadNet Gemma 4 VL 26B इमेज लेते हैं।

Parcels on a conveyor labelled "FRAGILE", "ZERBRECHLICH" and "取扱注意", with the text "From printed text to useful data."

जिन अरबी इनवॉइस, रसीदों और फ़ॉर्म पर आपको कार्रवाई करनी है, उनके लिए vision LLM इस्तेमाल करें: यह इमेज पढ़ता है और आपके माँगे फ़ील्ड, जैसे वेंडर, VAT नंबर, तारीख़ और कुल रक़म, JSON में लौटाता है। लंबे स्कैन किए पेजों में पूरे टेक्स्ट की सर्च या ऑफ़लाइन काम के लिए पारंपरिक optical character recognition (OCR) इस्तेमाल करें। दोनों हालात में संख्याएँ कोड में जाँचें।

नीचे दी गई वजहों से अरबी दोनों रास्तों को अंग्रेज़ी से ज़्यादा मुश्किल बनाती है।

अरबी OCR मुश्किल क्यों है?

  • जुड़ी हुई लिपि। अरबी अक्षर जुड़ते हैं, और ज़्यादातर के चार तक आकार होते हैं (अकेला, शुरुआती, बीच का, आख़िरी)। OCR इंजन को ऐसा शब्द बाँटना पड़ता है जिसके किनारे वह देख नहीं सकता।
  • नुक़्ते अर्थ रखते हैं। ب ت ث ن ي का आधार आकार एक है और ये सिर्फ़ नुक़्तों से अलग हैं। कम resolution वाला स्कैन या एक सिलवट एक अक्षर को दूसरे में बदल सकती है।
  • एक लाइन पर दो दिशाएँ। “المجموع: 1,250.00 SAR” जैसी इनवॉइस लाइन दाएँ से बाएँ अरबी को बाएँ से दाएँ संख्याओं और लैटिन टेक्स्ट के साथ मिलाती है। OCR आउटपुट अक्सर ग़लत दृश्य क्रम में लौटता है, जिसे दिखाते समय Unicode bidirectional algorithm फिर से क्रम बदलता है।
  • अंकों के दो सेट। खाड़ी और मिस्र के दस्तावेज़ अक्सर 0–9 की जगह पूर्वी अरबी अंक (٠١٢٣٤٥٦٧٨٩) छापते हैं, कभी-कभी एक ही पेज पर दोनों।
  • फ़ॉन्ट और मुहरें। सजावटी नस्ख़ और रुक़आ शीर्षक, कुल रक़म पर लगी कंपनी की मुहर और थर्मल रसीद का फीका पड़ना, सब पहचान को नुक़सान पहुँचाते हैं।

OCR या vision LLM: हर एक आपको क्या देता है?

पारंपरिक OCR Vision LLM
आउटपुट कच्चा टेक्स्ट, अक्सर शब्दों की positions के साथ जो भी आप माँगें: फ़ील्ड, JSON, सारांश, अनुवाद
Layout की समझ आप नियम या templates लिखते हैं मॉडल ख़ुद समझता है (“कुल रक़म नीचे दाईं ओर है”)
इनवॉइस के नए layouts नया template या नियम आमतौर पर बिना बदलाव के काम करता है
अनुवाद अलग चरण उसी अनुरोध में
अनुमान लगाने लायक़ एक ही इनपुट के लिए deterministic बदल सकता है; आउटपुट validate करें
मनगढ़ंत का जोखिम कम (ग़लत पढ़ता है, लेकिन गढ़ता नहीं) असली: विश्वसनीय लेकिन ग़लत मान बना सकता है
किसके लिए सबसे अच्छा लंबे स्कैन किए दस्तावेज़ों और archives में पूरे टेक्स्ट की सर्च इनवॉइस, रसीदें, ID, फ़ॉर्म जिन पर कार्रवाई करनी है

मुख्य फ़ायदा-नुक़सान: OCR ग़लत पढ़ता है लेकिन गढ़ता नहीं। vision LLM समझता है, लेकिन एक विश्वसनीय मान गढ़ सकता है। अच्छी पाइपलाइन समझने के लिए LLM और जाँचने के लिए कोड इस्तेमाल करती है।

Vision LLM से अरबी इनवॉइस कैसे पढ़ें?

इमेज को message content के अंदर base64 data URL के रूप में भेजें और ठीक वही फ़ील्ड माँगें जो आपको चाहिए। पूरा walk-through vision इनवॉइस गाइड में है; मूल हिस्सा ऐसा दिखता है:

import base64, json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
image = base64.b64encode(open("invoice.jpg", "rb").read()).decode()

prompt = """Read this invoice. Reply with JSON only, using these keys:
vendor_name (as written, Arabic script if Arabic), vendor_vat_number, invoice_number,
invoice_date (YYYY-MM-DD), currency (ISO code), subtotal, vat_amount, total,
line_items (list of {description, quantity, unit_price, amount}).
Convert Eastern Arabic numerals to Western digits. Use null for anything you cannot read."""

r = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=3000,  # reasoning comes first
    messages=[{"role": "user", "content": [
        {"type": "text", "text": prompt},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + image}},
    ]}],
)
data = json.loads(r.choices[0].message.content)

तीन बातें जो debugging का समय बचाती हैं:

  1. बताएँ कि कौन-सी अंक प्रणाली चाहिए। “Convert Eastern Arabic numerals to Western digits” (अनुवाद: पूर्वी अरबी अंकों को पश्चिमी अंकों में बदलें) आपके डेटाबेस में ١٢٥٠ और 1250 के मिश्रण से बचाता है।
  2. अंदाज़ा नहीं, null माँगें। जब हर key भरनी ज़रूरी हो, तो मॉडल के मान गढ़ने की संभावना ज़्यादा होती है।
  3. नाम मूल लिपि में रखें। “مؤسسة النور للتجارة” को लैटिन अक्षरों में लिप्यंतरित करने से वर्तनी के कई रूप बनते हैं। अरबी सहेजें और अंग्रेज़ी चाहिए तो अलग से अनुवाद करें।

अगर मॉडल ख़ाली जवाब लौटाता है, तो reasoning करते हुए उसका max_tokens ख़त्म हो गया; देखें reasoning टोकन और ख़ाली जवाब। ज़्यादा सख़्त JSON आकार के लिए JSON schema के साथ structured output देखें; मुफ़्त JSON schema generator एक सैंपल इनवॉइस से schema बनाता है।

ग़लत पढ़ी संख्याएँ कैसे पकड़ें?

निकाले गए हर मान को डेटा नहीं, कोड में जाँचने लायक़ दावा मानें। लाइन आइटम का जोड़ subtotal के बराबर हो, subtotal जमा VAT कुल रक़म के बराबर हो, तारीख़ें parse हों और भविष्य की न हों, और मुद्रा वेंडर के देश से मेल खाए। सऊदी VAT नंबरों की लंबाई और फ़ॉर्मैट तय है, जो एक सस्ती अतिरिक्त जाँच बनाता है। ग़लत पढ़ा अंक लगभग हमेशा कोई जोड़ तोड़ देता है, इसलिए गणित की जाँचें मायने रखने वाली ज़्यादातर ग़लतियाँ पकड़ लेती हैं। जो भी फ़ेल हो, वह इमेज और निकाले गए फ़ील्ड को साथ रखकर इंसानी समीक्षा की queue में जाए।

पूरी पाइपलाइन, Pydantic schema, गणित वाले validators, error मैसेज के साथ एक रीट्राई और समीक्षा queue के साथ, vision LLM से इनवॉइस और रसीद डेटा JSON में निकालें में है।

अरबी दस्तावेज़ कौन-सा vision मॉडल पढ़े?

BroadNet Inference पर तीन चैट मॉडल इमेज लेते हैं:

मॉडल प्रति 1M टोकन इनपुट / आउटपुट कॉन्टेक्स्ट टिप्पणी
Qwen3.8 27B $0.175 / $2.17 262,144 वह मॉडल जिसे BroadNet ने अरबी में टेस्ट किया
DeepSeek V4.1 Flash $0.175 / $0.52 1,048,576 unlimited फ़्लैट प्लान पर भी
BroadNet Gemma 4 VL 26B $0.10 / $0.22 32,768 BroadNet के vision मॉडलों में सबसे सस्ता; मुफ़्त क्रेडिट और $0.50 वाली घंटे की key पर काम करता है

BroadNet रिपोर्ट करता है कि उसके टेस्ट में Qwen3.8 27B ने धाराप्रवाह अरबी लिखी, खाड़ी और मिस्री बोलियाँ समझीं और अरबी और अंग्रेज़ी का सटीक अनुवाद किया। BroadNet कोई OCR या document-extraction benchmark प्रकाशित नहीं करता, इसलिए अपने दस्तावेज़ों पर फ़ील्ड की सटीकता मापें। एक व्यावहारिक सेटअप है: सरल रसीदों के लिए Gemma 4 VL 26B, और validation में फ़ेल होने वाली हर चीज़ के लिए Qwen3.8 27B से दूसरा पास। Gemma 4 VL 26B बनाम Qwen3.8 27B तुलना दोनों को साथ-साथ रखती है।

Vision LLM की प्रति पेज लागत कितनी है?

उपयोग के अनुसार भुगतान वाली keys पर इमेज का बिल मॉडल की इनपुट कीमत पर इनपुट टोकन के रूप में बनता है, और बड़ी इमेज ज़्यादा टोकन लेती हैं। फ़ोन की फ़ोटो को लंबी तरफ़ से लगभग 1,500–2,000 pixels पर छोटा करें: अरबी नुक़्तों को काफ़ी resolution चाहिए, लेकिन 12-megapixel की फ़ोटो ज़्यादातर सिर्फ़ लागत बढ़ाती है। प्रति पेज लागत पाने के लिए कुछ असली इमेज पर usage.prompt_tokens पढ़ें। unlimited DeepSeek V4.1 Flash प्लान पर BroadNet के docs कहते हैं कि इमेज प्लान के unlimited इस्तेमाल का हिस्सा हैं। प्रति इमेज और प्रति पेज टोकन का हिसाब vision LLM की प्रति इमेज लागत में निकाला गया है।

पारंपरिक OCR अब भी कब जीतता है?

  • लंबी स्कैन की गई किताबें और archives जहाँ सर्च के लिए हर शब्द चाहिए, कुछ फ़ील्ड नहीं।
  • सख़्त reproducibility, जहाँ एक ही इनपुट से हमेशा एक ही टेक्स्ट बनना चाहिए।
  • ऑफ़लाइन या on-device प्रोसेसिंग, बिना नेटवर्क के।

Tesseract जैसे open-source इंजन अरबी (ara) का trained data सूचीबद्ध करते हैं और ऑफ़लाइन चलते हैं। हाइब्रिड तरीक़ा भी अच्छा काम करता है: खोजने लायक़ टेक्स्ट के लिए पेज का OCR करें, और जिन फ़ील्ड पर कार्रवाई करनी है उनके लिए इमेज vision LLM को भेजें। कौन-से cloud OCR API अरबी, छपी और हाथ से लिखी, सूचीबद्ध करते हैं और हर एक की प्रति 1,000 पेज लागत क्या है, यह अरबी OCR API तुलना में है।

प्राइवेसी

इनवॉइस और ID में नाम, टैक्स नंबर और बैंक विवरण होते हैं। BroadNet Inference अनुरोध के बाद इमेज, प्रॉम्प्ट या जवाब नहीं रखता; देखें zero data retention। यही नियम अपने स्टोरेज पर लागू करें: जो निकाले गए फ़ील्ड चाहिए वे रखें और जिन इमेज को रखना अब ज़रूरी नहीं, उन्हें मिटा दें।

अक्सर पूछे जाने वाले सवाल

क्या अरबी के लिए vision LLM, OCR से ज़्यादा सटीक है?

यह दस्तावेज़ पर निर्भर है। vision LLM आमतौर पर layout समझने और इनवॉइस और रसीदों से नाम वाले फ़ील्ड निकालने में बेहतर हैं। लंबे, साफ़ छपे पेजों पर समर्पित OCR ज़्यादा अनुमानित हो सकता है। अपने दस्तावेज़ों के एक सैंपल पर दोनों टेस्ट करें।

क्या vision LLM हाथ से लिखी अरबी पढ़ सकते हैं?

कभी-कभी, साफ़ लिखावट पर। घसीट या जल्दबाज़ी वाली लिखावट पर सटीकता तेज़ी से गिरती है। कम भरोसे वाले हस्तलिखित फ़ील्ड किसी इंसानी समीक्षक को भेजें।

इमेज पढ़ने के लिए सबसे सस्ता BroadNet मॉडल कौन-सा है?

BroadNet Gemma 4 VL 26B, प्रति 1M इनपुट टोकन $0.10 पर। यह मुफ़्त शुरुआती क्रेडिट पर और फ़्लैट कीमत वाली घंटे वाली key के साथ भी काम करता है।

पूर्वी अरबी अंकों को पश्चिमी अंकों में कैसे बदलूँ?

मॉडल से पश्चिमी अंक लौटाने को कहें, फिर कोड में इसे लागू करें। Python में text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789")) बच निकले किसी भी पूर्वी अरबी अंक को बदल देता है। फ़ारसी अंक (۰–۹) अलग code points इस्तेमाल करते हैं, इसलिए अगर आपके दस्तावेज़ ईरान या अफ़ग़ानिस्तान से आते हैं तो उन्हें भी जोड़ें।

क्या मॉडल अरबी लेबल का अंग्रेज़ी में अनुवाद कर सकता है?

हाँ। अंग्रेज़ी keys माँगें और मूल अरबी मान रखें, या दोनों माँगें। लिप्यंतरण की ग़लतियों से बचने के लिए नाम मूल लिपि में रखें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें