BroadRouter

وژن LLM سے انوائس، رسید اور فارم کا ڈیٹا JSON میں نکالیں

BroadNet Inference ٹیم · 4 منٹ کی پڑھائی · شائع شدہ

ہر صفحے کو تصویر میں بدلیں، اسے ایسے پرامپٹ کے ساتھ وژن ماڈل کو بھیجیں جو ہر فیلڈ اور اس کا فارمیٹ بتائے، اور صرف JSON مانگیں۔ پھر کوڈ میں جانچیں: parse کریں، اسکیما جانچیں، دیکھیں کہ لائن آئٹمز جمع ہو کر کل رقم بنتے ہیں، اور ایرر کے ساتھ ایک بار retry کریں۔ بار بار ناکام ہونے والی دستاویزات کسی انسان کو بھیجیں۔

A paper invoice headed "فاتورة" (invoice) with tabs labelled Vendor, Date and Total, and the text "Turn documents into useful data."
Illustrative example.

انوائسز، رسیدیں اور فارمز، سب کا مسئلہ ایک ہے: ڈیٹا تصویر میں ہے، اور آپ کو وہ ڈیٹا بیس میں چاہیے۔ ٹیمپلیٹ والا OCR ہر نئے وینڈر لے آؤٹ پر ٹوٹ جاتا ہے۔ vision-language ماڈل صفحہ پڑھتا ہے اور سیدھے فیلڈز لوٹاتا ہے۔ مشکل یہ ہے کہ وہ پورے اعتماد کے ساتھ غلط ہو سکتا ہے، اس لیے اصل کام اس کے گرد کی پائپ لائن میں ہے۔ یہ پوسٹ کسی بھی زبان کے لیے عمومی پائپ لائن بتاتی ہے۔ عربی دستاویزات کے لیے سیٹ اپ وژن سے عربی انوائسز پڑھنا میں ہے، اور کلاسک OCR کب بہتر ٹول ہے، یہ عربی OCR بمقابلہ وژن LLMs میں۔

پائپ لائن کیسی نظر آتی ہے؟

  1. ہر صفحہ تیار کریں: PDFs کو تصاویر میں رینڈر کریں، گھماؤ ٹھیک کریں، سائز کم کریں۔
  2. نکالیں: ہر دستاویز کے لیے ایک درخواست، فیلڈ بہ فیلڈ پرامپٹ کے ساتھ، صرف JSON۔
  3. جانچیں: parse، اسکیما کی جانچ، جمع کی جانچ۔
  4. توثیق ناکام ہو تو ایرر میسج کے ساتھ ایک بار retry کریں۔
  5. جائزہ: جو اب بھی ناکام ہو، وہ تصویر اور مسودے کے ساتھ کسی انسان کے پاس جائے۔
  6. لیبل شدہ سیمپل پر فیلڈز کی درستگی ناپیں، اور ماڈل یا پرامپٹ بدلنے پر ہر بار دوبارہ چلائیں۔

دستاویز کی تصاویر کیسے تیار کریں؟

PDFs کو PyMuPDF سے تصاویر میں رینڈر کریں، اور ضرورت سے زیادہ پکسلز بھیجے بغیر سب سے چھوٹا متن واضح رکھیں:

# pip install pymupdf pillow
import base64, io
import pymupdf  # older code imports it as fitz
from PIL import Image

def pdf_pages_as_data_urls(path, long_edge=1800):
    urls = []
    for page in pymupdf.open(path):
        pix = page.get_pixmap(dpi=200)
        img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
        img.thumbnail((long_edge, long_edge))
        buf = io.BytesIO()
        img.save(buf, format="JPEG", quality=90)
        urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
    return urls

BroadNet Inference پر تصاویر پیغام میں درست MIME ٹائپ والے data: URLs کی شکل میں جاتی ہیں، اور استعمال کے مطابق ادائیگی پر ان کا بل ان پٹ ٹوکنز کے طور پر بنتا ہے؛ بڑی تصاویر زیادہ ٹوکن لیتی ہیں۔ usage بلاک سے ایک بار فی صفحہ ٹوکن ناپیں اور اسی سے اپنے بیچ کا سائز طے کریں؛ بھیجنے سے پہلے ٹوکن گننا طریقہ بتاتا ہے، اور فی تصویر وژن LLM لاگت ٹوکنز کو فی صفحہ لاگت میں بدلتا ہے۔ کچھ بھی بھیجنے سے پہلے فی صفحہ ٹوکنز کا اندازہ لگانے کے لیے ایک نمونہ اسکین امیج ٹوکن کیلکولیٹر میں ڈالیں۔

extraction پرامپٹ کیسے لکھیں؟

keys، ٹائپس، فارمیٹس اور غائب قدروں کے بارے میں بالکل درست رہیں۔ اگر آپ کو توثیق کے لیے، یا اسکیما نافذ کرنے والے فراہم کنندگان کے لیے، JSON Schema بھی چاہیے تو مفت JSON schema generator ایک نمونہ انوائس سے اسے بنا دیتا ہے:

PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""

“Never guess” اور واضح لکھا null سب سے زیادہ اہم ہیں۔ ان کے بغیر ماڈلز خالی جگہوں کو قابلِ یقین لگنے والی قدروں سے بھر دیتے ہیں، جو خالی چھوڑنے سے بدتر ہے، کیونکہ ایسی قدر سادہ جانچ سے گزر جاتی ہے۔

structured output کیسے حاصل کریں اور اس کی توثیق کیسے کریں؟

structured output کے دو درجے ہیں۔ JSON mode درست JSON کی ضمانت دیتا ہے۔ اسکیما کا پابند آؤٹ پٹ اس کی شکل کی بھی ضمانت دیتا ہے۔ OpenAI کی گائیڈ صاف کہتی ہے: دونوں درست JSON بناتے ہیں، مگر اسکیما کی پابندی صرف Structured Outputs یقینی بناتا ہے۔ دونوں کی سپورٹ فراہم کنندہ اور ماڈل کے لحاظ سے بدلتی ہے، اس لیے API کچھ بھی وعدہ کرے، کوڈ میں توثیق کریں:

import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

class Line(BaseModel):
    description: str
    quantity: Decimal
    unit_price: Decimal
    line_total: Decimal

class Invoice(BaseModel):
    vendor_name: str
    vendor_tax_id: str | None = None
    invoice_number: str
    invoice_date: str
    currency: str
    line_items: list[Line]
    subtotal: Decimal
    tax: Decimal | None = None
    total: Decimal

    @model_validator(mode="after")
    def sums(self):
        tol = Decimal("0.02")
        if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
            raise ValueError("line_totals do not sum to subtotal")
        if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
            raise ValueError("subtotal + tax != total")
        return self

def extract(image_urls, model="broadnet/qwen3.8-27b"):
    content = [{"type": "text", "text": PROMPT}] + [
        {"type": "image_url", "image_url": {"url": u}} for u in image_urls]
    messages = [{"role": "user", "content": content}]
    for attempt in range(2):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
        raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
        try:
            return Invoice.model_validate(json.loads(raw)), r.usage
        except (json.JSONDecodeError, ValidationError, ValueError) as e:
            messages += [{"role": "assistant", "content": raw},
                         {"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
    return None, r.usage  # send to human review

رقم کے لیے float نہیں، Decimal استعمال کریں۔ max_tokens کھلا رکھیں: Qwen3.8 27B جواب دینے سے پہلے ریزننگ کرتا ہے، اور ریزننگ حد میں گنی جاتی ہے؛ چھوٹی حد خالی اسٹرنگ لوٹاتی ہے۔ دیکھیں ریزننگ ماڈلز خالی جواب کیوں دیتے ہیں۔

کون سی جانچیں سب سے زیادہ غلطیاں پکڑتی ہیں؟

جانچ کیا پکڑتی ہے لاگت
JSON parse ہوتا ہے JSON کے گرد نثر، کٹا ہوا آؤٹ پٹ مفت
اسکیما کی توثیق ہوتی ہے غائب keys، غلط ٹائپس مفت
لائنیں جمع ہو کر subtotal بنتی ہیں غلط پڑھے ہندسے، چھوٹی ہوئی لائنیں مفت
subtotal + ٹیکس = total غلط پڑھا total یا ٹیکس مفت
تاریخ parse ہوتی ہے اور مستقبل کی نہیں دن/مہینے کا الٹ پھیر، OCR کا شور مفت
وینڈر کا ٹیکس ID آپ کی سپلائر لسٹ سے ملتا ہے غلط وینڈر، دھوکا دہی ایک lookup
ہر وینڈر کے لیے دہرایا گیا انوائس نمبر دوہری ادائیگی ایک query

جمع کی جانچ سب سے فائدہ مند ہے: ایک بھی غلط پڑھا ہندسہ تقریباً ہمیشہ جمع بگاڑ دیتا ہے۔ رسیدوں میں اکثر لائن کی سطح کی تفصیل نہیں ہوتی، اس لیے جو موجود ہے اسے جانچیں اور ان کے لیے کم جانچیں قبول کریں۔

لائیو جانے سے پہلے درستگی کیسے ناپیں؟

50 سے 100 حقیقی دستاویزات ہاتھ سے لیبل کریں، پائپ لائن چلائیں، اور ہر فیلڈ کا اسکور نکالیں، ہر دستاویز کا نہیں۔ ٹوٹلز اور تاریخوں کے لیے تفصیل سے سخت معیار رکھیں۔ تین نمبر ٹریک کریں: فیلڈز کی درستگی، retry کے بغیر توثیق پاس کرنے والی دستاویزات کا حصہ، اور جائزے کے لیے بھیجی گئی دستاویزات کا حصہ۔ وہ جائزے کا قدم کیسے ڈیزائن کریں، پاس ہونے والی دستاویزات کے بے ترتیب آڈٹ سمیت، یہ انسانی جائزے کو اپنے document AI ورک فلو کا حصہ بنانا میں ہے۔ جب کوئی دوسرا ماڈل آزمائیں تو وہی سیٹ چلائیں؛ طریقہ بدلنے سے پہلے LLM کی جانچ میں ہے۔

BroadNet Inference پر کون سے وژن ماڈلز فٹ ہوتے ہیں؟

ماڈل تصاویر کانٹیکسٹ نوٹس
Qwen3.8 27B ہاں 262,144 ٹولز، structured output اور ریزننگ درج؛ BroadNet نے عربی میں ٹیسٹ کیا
Gemma 4 VL 26B ہاں 32,768 BroadNet کی سب سے کم قیمت؛ مفت کریڈٹ اور گھنٹے والی کلید پر چلتا ہے
DeepSeek V4.1 Flash ہاں 1,048,576 لامحدود پلانز میں تصاویر شامل

فی 1M ٹوکن قیمتیں قیمتوں کے صفحے پر ہیں؛ فی صفحہ ناپے گئے ٹوکنز کو ماہانہ مقدار سے LLM API لاگت کیلکولیٹر میں ضرب دیں۔

BroadNet Inference کہاں فٹ ہوتا ہے

BroadNet Inference تین چیٹ ماڈلز پر معیاری OpenAI پیغام فارمیٹ کے ذریعے تصاویر لیتا ہے، اور درخواست کے بعد پرامپٹس، تصاویر یا جوابات نہیں رکھتا، جو ناموں، ٹیکس IDs اور بینک تفصیلات سے بھری انوائسز کے لیے اہم ہے (zero data retention)۔ اس کی دستاویزات Qwen3.8 27B کے لیے structured output درج کرتی ہیں مگر اسکیما پیرامیٹرز دستاویز نہیں کرتیں، اس لیے اپنا اسکیما نافذ کروانے کے لیے API کے بجائے اوپر والی توثیق کی تہہ پر بھروسہ کریں۔ BroadNet کوئی تصویر سائز کی حد یا الگ document-AI پروڈکٹ شائع نہیں کرتا، اور اس کی دستاویزات PDF اپ لوڈ نہیں بلکہ تصویر ان پٹ بیان کرتی ہیں، اس لیے پہلے صفحات کو تصاویر میں رینڈر کریں۔ مقررہ بجٹ پر بڑی مقدار والے رنز کے لیے لامحدود DeepSeek V4.1 Flash پلان میں تصاویر شامل ہیں۔

عام سوالات

کیا انوائسز کے لیے وژن LLM، OCR کی جگہ لے سکتا ہے؟

کئی لے آؤٹس کے لیے، جی ہاں۔ وژن ماڈل تصویر پڑھتا ہے اور ایک ہی قدم میں متن کو فیلڈز سے جوڑ دیتا ہے، ہر وینڈر کے لیے ٹیمپلیٹ کے بغیر۔ پھر بھی وہ کبھی کبھار ہندسے غلط پڑھتا ہے، اس لیے توثیق اور جائزے کی قطار رکھیں۔

وژن ماڈل سے قابلِ بھروسہ JSON کیسے حاصل کروں؟

پرامپٹ میں درست keys، ٹائپس اور فارمیٹس لکھیں، صرف JSON مانگیں، اور کوڈ میں parse کریں۔ اگر ماڈل اسکیما کا پابند آؤٹ پٹ سپورٹ کرتا ہے تو اسے استعمال کریں۔ دونوں صورتوں میں اسکیما لائبریری سے توثیق کریں اور ایرر کے ساتھ ایک بار retry کریں۔

کئی صفحات والی PDF انوائس سے ڈیٹا کیسے نکالوں؟

ہر صفحے کو تصویر میں بدلیں، پھر ایک انوائس کے تمام صفحات ایک ہی درخواست میں بھیجیں، اگر وہ ماڈل کے کانٹیکسٹ میں آ جائیں، تاکہ آخری صفحے کے ٹوٹلز پہلے صفحے کی لائنوں سے ملائے جا سکیں۔

انوائس کی تصاویر کا resolution کتنا ہونا چاہیے؟

اتنا کہ سب سے چھوٹے ہندسے واضح نظر آئیں، اس سے زیادہ نہیں۔ بڑی تصاویر زیادہ ان پٹ ٹوکن لیتی ہیں۔ A4 صفحے کے لیے لمبی طرف تقریباً 1,500 سے 2,000 پکسلز ایک معقول آغاز ہے؛ اپنی دستاویزات پر ٹیسٹ کریں۔

extraction کی درستگی کیسے ناپوں؟

50 سے 100 حقیقی دستاویزات ہاتھ سے لیبل کریں اور فیلڈ بہ فیلڈ اسکور کریں۔ ٹوٹلز اور تاریخوں کو وینڈر کے نام جیسے آزاد متن والے فیلڈز سے الگ ٹریک کریں، کیونکہ ان کی غلطی کی قیمت مختلف ہوتی ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں