जिन अरबी इनवॉइस, रसीदों और फ़ॉर्म पर आपको कार्रवाई करनी है, उनके लिए vision LLM इस्तेमाल करें: यह इमेज पढ़ता है और आपके माँगे फ़ील्ड, जैसे वेंडर, VAT नंबर, तारीख़ और कुल रक़म, JSON में लौटाता है। लंबे स्कैन किए पेजों में पूरे टेक्स्ट की सर्च या ऑफ़लाइन काम के लिए पारंपरिक optical character recognition (OCR) इस्तेमाल करें। दोनों हालात में संख्याएँ कोड में जाँचें।
नीचे दी गई वजहों से अरबी दोनों रास्तों को अंग्रेज़ी से ज़्यादा मुश्किल बनाती है।
अरबी OCR मुश्किल क्यों है?
- जुड़ी हुई लिपि। अरबी अक्षर जुड़ते हैं, और ज़्यादातर के चार तक आकार होते हैं (अकेला, शुरुआती, बीच का, आख़िरी)। OCR इंजन को ऐसा शब्द बाँटना पड़ता है जिसके किनारे वह देख नहीं सकता।
- नुक़्ते अर्थ रखते हैं। ب ت ث ن ي का आधार आकार एक है और ये सिर्फ़ नुक़्तों से अलग हैं। कम resolution वाला स्कैन या एक सिलवट एक अक्षर को दूसरे में बदल सकती है।
- एक लाइन पर दो दिशाएँ। “المجموع: 1,250.00 SAR” जैसी इनवॉइस लाइन दाएँ से बाएँ अरबी को बाएँ से दाएँ संख्याओं और लैटिन टेक्स्ट के साथ मिलाती है। OCR आउटपुट अक्सर ग़लत दृश्य क्रम में लौटता है, जिसे दिखाते समय Unicode bidirectional algorithm फिर से क्रम बदलता है।
- अंकों के दो सेट। खाड़ी और मिस्र के दस्तावेज़ अक्सर 0–9 की जगह पूर्वी अरबी अंक (٠١٢٣٤٥٦٧٨٩) छापते हैं, कभी-कभी एक ही पेज पर दोनों।
- फ़ॉन्ट और मुहरें। सजावटी नस्ख़ और रुक़आ शीर्षक, कुल रक़म पर लगी कंपनी की मुहर और थर्मल रसीद का फीका पड़ना, सब पहचान को नुक़सान पहुँचाते हैं।
OCR या vision LLM: हर एक आपको क्या देता है?
| पारंपरिक OCR | Vision LLM | |
|---|---|---|
| आउटपुट | कच्चा टेक्स्ट, अक्सर शब्दों की positions के साथ | जो भी आप माँगें: फ़ील्ड, JSON, सारांश, अनुवाद |
| Layout की समझ | आप नियम या templates लिखते हैं | मॉडल ख़ुद समझता है (“कुल रक़म नीचे दाईं ओर है”) |
| इनवॉइस के नए layouts | नया template या नियम | आमतौर पर बिना बदलाव के काम करता है |
| अनुवाद | अलग चरण | उसी अनुरोध में |
| अनुमान लगाने लायक़ | एक ही इनपुट के लिए deterministic | बदल सकता है; आउटपुट validate करें |
| मनगढ़ंत का जोखिम | कम (ग़लत पढ़ता है, लेकिन गढ़ता नहीं) | असली: विश्वसनीय लेकिन ग़लत मान बना सकता है |
| किसके लिए सबसे अच्छा | लंबे स्कैन किए दस्तावेज़ों और archives में पूरे टेक्स्ट की सर्च | इनवॉइस, रसीदें, ID, फ़ॉर्म जिन पर कार्रवाई करनी है |
मुख्य फ़ायदा-नुक़सान: OCR ग़लत पढ़ता है लेकिन गढ़ता नहीं। vision LLM समझता है, लेकिन एक विश्वसनीय मान गढ़ सकता है। अच्छी पाइपलाइन समझने के लिए LLM और जाँचने के लिए कोड इस्तेमाल करती है।
Vision LLM से अरबी इनवॉइस कैसे पढ़ें?
इमेज को message content के अंदर base64 data URL के रूप में भेजें और ठीक वही फ़ील्ड माँगें जो आपको चाहिए। पूरा walk-through vision इनवॉइस गाइड में है; मूल हिस्सा ऐसा दिखता है:
import base64, json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
image = base64.b64encode(open("invoice.jpg", "rb").read()).decode()
prompt = """Read this invoice. Reply with JSON only, using these keys:
vendor_name (as written, Arabic script if Arabic), vendor_vat_number, invoice_number,
invoice_date (YYYY-MM-DD), currency (ISO code), subtotal, vat_amount, total,
line_items (list of {description, quantity, unit_price, amount}).
Convert Eastern Arabic numerals to Western digits. Use null for anything you cannot read."""
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=3000, # reasoning comes first
messages=[{"role": "user", "content": [
{"type": "text", "text": prompt},
{"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + image}},
]}],
)
data = json.loads(r.choices[0].message.content)
तीन बातें जो debugging का समय बचाती हैं:
- बताएँ कि कौन-सी अंक प्रणाली चाहिए। “Convert Eastern Arabic numerals to Western digits” (अनुवाद: पूर्वी अरबी अंकों को पश्चिमी अंकों में बदलें) आपके डेटाबेस में ١٢٥٠ और 1250 के मिश्रण से बचाता है।
- अंदाज़ा नहीं,
nullमाँगें। जब हर key भरनी ज़रूरी हो, तो मॉडल के मान गढ़ने की संभावना ज़्यादा होती है। - नाम मूल लिपि में रखें। “مؤسسة النور للتجارة” को लैटिन अक्षरों में लिप्यंतरित करने से वर्तनी के कई रूप बनते हैं। अरबी सहेजें और अंग्रेज़ी चाहिए तो अलग से अनुवाद करें।
अगर मॉडल ख़ाली जवाब लौटाता है, तो reasoning करते हुए उसका max_tokens ख़त्म हो गया; देखें reasoning टोकन और ख़ाली जवाब। ज़्यादा सख़्त JSON आकार के लिए JSON schema के साथ structured output देखें; मुफ़्त JSON schema generator एक सैंपल इनवॉइस से schema बनाता है।
ग़लत पढ़ी संख्याएँ कैसे पकड़ें?
निकाले गए हर मान को डेटा नहीं, कोड में जाँचने लायक़ दावा मानें। लाइन आइटम का जोड़ subtotal के बराबर हो, subtotal जमा VAT कुल रक़म के बराबर हो, तारीख़ें parse हों और भविष्य की न हों, और मुद्रा वेंडर के देश से मेल खाए। सऊदी VAT नंबरों की लंबाई और फ़ॉर्मैट तय है, जो एक सस्ती अतिरिक्त जाँच बनाता है। ग़लत पढ़ा अंक लगभग हमेशा कोई जोड़ तोड़ देता है, इसलिए गणित की जाँचें मायने रखने वाली ज़्यादातर ग़लतियाँ पकड़ लेती हैं। जो भी फ़ेल हो, वह इमेज और निकाले गए फ़ील्ड को साथ रखकर इंसानी समीक्षा की queue में जाए।
पूरी पाइपलाइन, Pydantic schema, गणित वाले validators, error मैसेज के साथ एक रीट्राई और समीक्षा queue के साथ, vision LLM से इनवॉइस और रसीद डेटा JSON में निकालें में है।
अरबी दस्तावेज़ कौन-सा vision मॉडल पढ़े?
BroadNet Inference पर तीन चैट मॉडल इमेज लेते हैं:
| मॉडल | प्रति 1M टोकन इनपुट / आउटपुट | कॉन्टेक्स्ट | टिप्पणी |
|---|---|---|---|
| Qwen3.8 27B | $0.175 / $2.17 | 262,144 | वह मॉडल जिसे BroadNet ने अरबी में टेस्ट किया |
| DeepSeek V4.1 Flash | $0.175 / $0.52 | 1,048,576 | unlimited फ़्लैट प्लान पर भी |
| BroadNet Gemma 4 VL 26B | $0.10 / $0.22 | 32,768 | BroadNet के vision मॉडलों में सबसे सस्ता; मुफ़्त क्रेडिट और $0.50 वाली घंटे की key पर काम करता है |
BroadNet रिपोर्ट करता है कि उसके टेस्ट में Qwen3.8 27B ने धाराप्रवाह अरबी लिखी, खाड़ी और मिस्री बोलियाँ समझीं और अरबी और अंग्रेज़ी का सटीक अनुवाद किया। BroadNet कोई OCR या document-extraction benchmark प्रकाशित नहीं करता, इसलिए अपने दस्तावेज़ों पर फ़ील्ड की सटीकता मापें। एक व्यावहारिक सेटअप है: सरल रसीदों के लिए Gemma 4 VL 26B, और validation में फ़ेल होने वाली हर चीज़ के लिए Qwen3.8 27B से दूसरा पास। Gemma 4 VL 26B बनाम Qwen3.8 27B तुलना दोनों को साथ-साथ रखती है।
Vision LLM की प्रति पेज लागत कितनी है?
उपयोग के अनुसार भुगतान वाली keys पर इमेज का बिल मॉडल की इनपुट कीमत पर इनपुट टोकन के रूप में बनता है, और बड़ी इमेज ज़्यादा टोकन लेती हैं। फ़ोन की फ़ोटो को लंबी तरफ़ से लगभग 1,500–2,000 pixels पर छोटा करें: अरबी नुक़्तों को काफ़ी resolution चाहिए, लेकिन 12-megapixel की फ़ोटो ज़्यादातर सिर्फ़ लागत बढ़ाती है। प्रति पेज लागत पाने के लिए कुछ असली इमेज पर usage.prompt_tokens पढ़ें। unlimited DeepSeek V4.1 Flash प्लान पर BroadNet के docs कहते हैं कि इमेज प्लान के unlimited इस्तेमाल का हिस्सा हैं। प्रति इमेज और प्रति पेज टोकन का हिसाब vision LLM की प्रति इमेज लागत में निकाला गया है।
पारंपरिक OCR अब भी कब जीतता है?
- लंबी स्कैन की गई किताबें और archives जहाँ सर्च के लिए हर शब्द चाहिए, कुछ फ़ील्ड नहीं।
- सख़्त reproducibility, जहाँ एक ही इनपुट से हमेशा एक ही टेक्स्ट बनना चाहिए।
- ऑफ़लाइन या on-device प्रोसेसिंग, बिना नेटवर्क के।
Tesseract जैसे open-source इंजन अरबी (ara) का trained data सूचीबद्ध करते हैं और ऑफ़लाइन चलते हैं। हाइब्रिड तरीक़ा भी अच्छा काम करता है: खोजने लायक़ टेक्स्ट के लिए पेज का OCR करें, और जिन फ़ील्ड पर कार्रवाई करनी है उनके लिए इमेज vision LLM को भेजें। कौन-से cloud OCR API अरबी, छपी और हाथ से लिखी, सूचीबद्ध करते हैं और हर एक की प्रति 1,000 पेज लागत क्या है, यह अरबी OCR API तुलना में है।
प्राइवेसी
इनवॉइस और ID में नाम, टैक्स नंबर और बैंक विवरण होते हैं। BroadNet Inference अनुरोध के बाद इमेज, प्रॉम्प्ट या जवाब नहीं रखता; देखें zero data retention। यही नियम अपने स्टोरेज पर लागू करें: जो निकाले गए फ़ील्ड चाहिए वे रखें और जिन इमेज को रखना अब ज़रूरी नहीं, उन्हें मिटा दें।

