Hóa đơn, biên lai và biểu mẫu đều có chung một vấn đề: dữ liệu nằm trong ảnh, còn bạn cần nó trong cơ sở dữ liệu. OCR dựa trên template hỏng mỗi khi có bố cục mới từ nhà cung cấp mới. Một vision-language model đọc trang và trả về các trường trực tiếp. Điểm vướng là nó có thể sai một cách đầy tự tin, nên công sức nằm ở pipeline bao quanh nó. Bài này trình bày pipeline chung cho mọi ngôn ngữ. Với tài liệu tiếng Ả Rập, xem đọc hóa đơn tiếng Ả Rập bằng vision để thiết lập, và OCR tiếng Ả Rập so với LLM vision để biết khi nào OCR truyền thống là công cụ tốt hơn.
Pipeline trông như thế nào?
- Chuẩn bị từng trang: render PDF thành ảnh, xoay cho đúng, thu nhỏ.
- Trích xuất: mỗi tài liệu một request với prompt nêu từng trường, chỉ nhận JSON.
- Kiểm tra: parse, kiểm tra schema, kiểm tra phép cộng.
- Retry một lần kèm thông báo lỗi nếu kiểm tra thất bại.
- Duyệt: những gì vẫn thất bại được chuyển cho người, kèm ảnh và bản nháp.
- Đo độ chính xác theo trường trên một mẫu đã gán nhãn, và chạy lại mỗi khi đổi model hoặc prompt.
Chuẩn bị ảnh tài liệu như thế nào?
Render PDF thành ảnh bằng PyMuPDF và giữ chữ nhỏ nhất sắc nét mà không gửi nhiều pixel hơn mức cần:
# pip install pymupdf pillow
import base64, io
import pymupdf # older code imports it as fitz
from PIL import Image
def pdf_pages_as_data_urls(path, long_edge=1800):
urls = []
for page in pymupdf.open(path):
pix = page.get_pixmap(dpi=200)
img = Image.open(io.BytesIO(pix.tobytes("png"))).convert("RGB")
img.thumbnail((long_edge, long_edge))
buf = io.BytesIO()
img.save(buf, format="JPEG", quality=90)
urls.append("data:image/jpeg;base64," + base64.b64encode(buf.getvalue()).decode())
return urls
Trên BroadNet Inference, ảnh được đưa vào message dưới dạng URL data: với kiểu MIME chính xác, và khi trả theo mức dùng, ảnh được tính như token đầu vào; ảnh lớn hơn tốn nhiều hơn. Hãy đo số token mỗi trang một lần bằng khối usage và định cỡ batch từ đó; đếm token trước khi gửi chỉ cách làm, và chi phí LLM vision mỗi ảnh quy đổi token thành chi phí mỗi trang. Để ước tính token mỗi trang trước khi gửi bất cứ thứ gì, hãy thả một bản scan mẫu vào máy tính token ảnh.
Nên viết prompt trích xuất thế nào?
Hãy chính xác về key, kiểu, định dạng và giá trị thiếu. Nếu bạn cũng muốn có JSON Schema để kiểm tra, hoặc cho các nhà cung cấp có ép schema, công cụ tạo JSON schema miễn phí sẽ dựng nó từ một hóa đơn mẫu:
PROMPT = """Extract this invoice. Reply with one JSON object only, no prose.
Keys:
- vendor_name: string, as printed
- vendor_tax_id: string or null
- invoice_number: string
- invoice_date: string, YYYY-MM-DD
- currency: ISO 4217 code, e.g. USD, EUR, SAR
- line_items: list of {description: string, quantity: number, unit_price: number, line_total: number}
- subtotal: number
- tax: number or null
- total: number
Rules: numbers without currency symbols or thousands separators. If a field is not on the page, use null. Never guess."""
“Never guess” (không bao giờ đoán) cộng với null tường minh là quan trọng nhất. Thiếu nó, model sẽ lấp chỗ trống bằng giá trị nghe hợp lý, điều còn tệ hơn để trống vì nó lọt qua được một phép kiểm tra đơn giản.
Nhận structured output và kiểm tra nó như thế nào?
Structured output có hai cấp. JSON mode đảm bảo JSON hợp lệ. Đầu ra ràng buộc theo schema đảm bảo thêm cả hình dạng. Hướng dẫn của OpenAI nói rõ: cả hai đều tạo ra JSON hợp lệ, nhưng chỉ Structured Outputs đảm bảo tuân thủ schema. Mức hỗ trợ khác nhau theo nhà cung cấp và model, nên hãy kiểm tra bằng code bất kể API hứa gì:
import json, os
from decimal import Decimal
from pydantic import BaseModel, ValidationError, model_validator
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
class Line(BaseModel):
description: str
quantity: Decimal
unit_price: Decimal
line_total: Decimal
class Invoice(BaseModel):
vendor_name: str
vendor_tax_id: str | None = None
invoice_number: str
invoice_date: str
currency: str
line_items: list[Line]
subtotal: Decimal
tax: Decimal | None = None
total: Decimal
@model_validator(mode="after")
def sums(self):
tol = Decimal("0.02")
if abs(sum(l.line_total for l in self.line_items) - self.subtotal) > tol:
raise ValueError("line_totals do not sum to subtotal")
if abs(self.subtotal + (self.tax or 0) - self.total) > tol:
raise ValueError("subtotal + tax != total")
return self
def extract(image_urls, model="broadnet/qwen3.8-27b"):
content = [{"type": "text", "text": PROMPT}] + [
{"type": "image_url", "image_url": {"url": u}} for u in image_urls]
messages = [{"role": "user", "content": content}]
for attempt in range(2):
r = client.chat.completions.create(model=model, messages=messages, max_tokens=4000, temperature=0)
raw = (r.choices[0].message.content or "").strip().removeprefix("```json").removesuffix("```")
try:
return Invoice.model_validate(json.loads(raw)), r.usage
except (json.JSONDecodeError, ValidationError, ValueError) as e:
messages += [{"role": "assistant", "content": raw},
{"role": "user", "content": f"That failed validation: {e}. Re-read the image and reply with corrected JSON only."}]
return None, r.usage # send to human review
Dùng Decimal, không dùng float, cho tiền. Giữ max_tokens rộng rãi: Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận tính vào giới hạn; mức trần nhỏ sẽ trả về chuỗi rỗng. Xem vì sao model suy luận trả về câu trả lời trống.
Những kiểm tra nào bắt được nhiều lỗi nhất?
| Kiểm tra | Bắt được | Chi phí |
|---|---|---|
| JSON parse được | Văn xuôi quanh JSON, bị cắt cụt | Miễn phí |
| Schema hợp lệ | Thiếu key, sai kiểu | Miễn phí |
| Các dòng cộng lại bằng tạm tính | Đọc sai chữ số, bỏ sót dòng | Miễn phí |
| Tạm tính + thuế = tổng cộng | Đọc sai tổng hoặc thuế | Miễn phí |
| Ngày parse được và không ở tương lai | Đảo ngày/tháng, nhiễu OCR | Miễn phí |
| Mã số thuế nhà cung cấp khớp danh sách nhà cung cấp | Sai nhà cung cấp, gian lận | Một lần tra cứu |
| Trùng số hóa đơn theo nhà cung cấp | Thanh toán hai lần | Một truy vấn |
Kiểm tra phép cộng đáng giá nhất: chỉ một chữ số bị đọc sai gần như luôn làm hỏng tổng. Biên lai thường không có chi tiết từng dòng, nên hãy kiểm tra những gì có, và chấp nhận ít kiểm tra hơn với chúng.
Đo độ chính xác trước khi đưa vào chạy thật như thế nào?
Gán nhãn thủ công 50 đến 100 tài liệu thật, chạy pipeline và chấm điểm theo từng trường, không theo từng tài liệu. Tổng tiền và ngày tháng xứng đáng với ngưỡng chặt hơn phần mô tả. Theo dõi ba con số: độ chính xác theo trường, tỷ lệ tài liệu qua kiểm tra mà không cần retry, và tỷ lệ chuyển sang duyệt. Cách thiết kế bước duyệt đó, kể cả kiểm tra ngẫu nhiên các tài liệu đã qua, nằm trong đưa khâu duyệt của con người vào quy trình AI xử lý tài liệu. Khi thử model khác, hãy chạy cùng bộ dữ liệu; đánh giá LLM trước khi chuyển đổi trình bày phương pháp.
Model vision nào phù hợp trên BroadNet Inference?
| Model | Ảnh | Context | Ghi chú |
|---|---|---|---|
| Qwen3.8 27B | Có | 262.144 | Có ghi tool, structured output và suy luận; BroadNet đã thử với tiếng Ả Rập |
| Gemma 4 VL 26B | Có | 32.768 | Giá BroadNet thấp nhất; dùng được với tín dụng miễn phí và key theo giờ |
| DeepSeek V4.1 Flash | Có | 1.048.576 | Ảnh được bao gồm trong các gói không giới hạn |
Giá mỗi 1M token có trên trang giá; nhân số token mỗi trang bạn đo được với khối lượng hằng tháng trong máy tính chi phí API LLM.
BroadNet Inference phù hợp ở đâu
BroadNet Inference nhận ảnh trên ba model chat qua định dạng message chuẩn của OpenAI, và không lưu giữ prompt, ảnh hay câu trả lời sau request, điều quan trọng với hóa đơn đầy tên người, mã số thuế và thông tin ngân hàng (không lưu giữ dữ liệu). Tài liệu ghi Qwen3.8 27B hỗ trợ structured output nhưng không ghi nhận tham số schema, nên hãy dựa vào lớp kiểm tra ở trên thay vì trông chờ API ép schema. BroadNet không công bố giới hạn kích thước ảnh hay sản phẩm AI tài liệu chuyên dụng, và tài liệu mô tả đầu vào ảnh, không phải tải PDF lên, nên hãy render trang thành ảnh trước. Với các lượt chạy khối lượng lớn trong ngân sách cố định, gói DeepSeek V4.1 Flash không giới hạn bao gồm cả ảnh.

