BroadRouter

OCR арабского или vision-LLM: как читать арабские документы и счета

Команда BroadNet Inference · 5 мин чтения · Опубликовано

Классический OCR превращает изображения арабских страниц в сырой текст, а vision-LLM читает изображение и возвращает нужные вам поля, например поставщика, дату и итог, в JSON. Для счетов и чеков vision-LLM обычно избавляет от шага разбора. В BroadNet Inference изображения принимают Qwen3.8 27B, DeepSeek V4.1 Flash и BroadNet Gemma 4 VL 26B.

Parcels on a conveyor labelled "FRAGILE", "ZERBRECHLICH" and "取扱注意", with the text "From printed text to useful data."

Для арабских счетов, чеков и форм, по которым нужно действовать, используйте vision-LLM: она читает изображение и возвращает нужные вам поля, например поставщика, номер плательщика НДС, дату и итог, в JSON. Классическое оптическое распознавание символов (OCR) используйте для полнотекстового поиска по длинным отсканированным страницам или для работы офлайн. В любом случае проверяйте числа в коде.

Арабский делает оба пути сложнее, чем для английского, по причинам ниже.

Почему OCR арабского — это сложно?

  • Связное письмо. Арабские буквы соединяются, и у большинства до четырёх форм (изолированная, начальная, срединная, конечная). Движку OCR приходится сегментировать слово, границ которого он не видит.
  • Точки несут смысл. У ب ت ث ن ي одна основа, различаются они только точками. Скан низкого разрешения или сгиб может превратить одну букву в другую.
  • Два направления в одной строке. Строка счёта вроде “المجموع: 1,250.00 SAR” смешивает арабский справа налево с числами и латиницей слева направо. Вывод OCR часто возвращается в неверном визуальном порядке, который двунаправленный алгоритм Unicode при отображении переставляет ещё раз.
  • Два набора цифр. Документы из Залива и Египта часто печатают восточноарабские цифры (٠١٢٣٤٥٦٧٨٩) вместо 0–9, иногда оба варианта на одной странице.
  • Шрифты и печати. Декоративные заголовки насхом и рукаа, печати компаний поверх итоговой суммы и выцветание термочеков — всё это мешает распознаванию.

OCR или vision-LLM: что даёт каждый?

Классический OCR Vision-LLM
Вывод Сырой текст, часто с позициями слов Всё, что попросите: поля, JSON, краткое содержание, перевод
Понимание вёрстки Вы пишете правила или шаблоны Модель сама её выводит («итог — внизу справа»)
Новые макеты счетов Новый шаблон или правило Обычно работает без изменений
Перевод Отдельный шаг Тот же запрос
Предсказуемость Детерминирован для одного и того же входа Может различаться; проверяйте вывод
Риск галлюцинаций Низкий (ошибается в чтении, но не выдумывает) Реальный: может выдать правдоподобное, но неверное значение
Лучше всего для Полнотекстового поиска по длинным отсканированным документам, архивов Счетов, чеков, удостоверений, форм, по которым нужно действовать

Главный компромисс: OCR ошибается в чтении, но не выдумывает. Vision-LLM понимает, но может галлюцинировать правдоподобное значение. Хороший пайплайн использует LLM для понимания, а код — для проверки.

Как прочитать арабский счёт с помощью vision-LLM?

Отправьте изображение как base64 data URL внутри содержимого сообщения и попросите ровно те поля, которые нужны. Полный разбор — в руководстве по чтению счетов с vision-моделью; суть выглядит так:

import base64, json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
image = base64.b64encode(open("invoice.jpg", "rb").read()).decode()

prompt = """Read this invoice. Reply with JSON only, using these keys:
vendor_name (as written, Arabic script if Arabic), vendor_vat_number, invoice_number,
invoice_date (YYYY-MM-DD), currency (ISO code), subtotal, vat_amount, total,
line_items (list of {description, quantity, unit_price, amount}).
Convert Eastern Arabic numerals to Western digits. Use null for anything you cannot read."""

r = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=3000,  # reasoning comes first
    messages=[{"role": "user", "content": [
        {"type": "text", "text": prompt},
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64," + image}},
    ]}],
)
data = json.loads(r.choices[0].message.content)

Три детали, которые экономят время на отладке:

  1. Укажите, какая система цифр нужна. «Convert Eastern Arabic numerals to Western digits» избавляет от смеси ١٢٥٠ и 1250 в базе данных.
  2. Просите null, а не догадку. Модели чаще выдумывают значение, когда каждый ключ обязан быть заполнен.
  3. Имена оставляйте в исходной графике. Транслитерация “مؤسسة النور للتجارة” латиницей порождает варианты написания. Храните арабский вариант и переводите отдельно, если нужен английский.

Если модель вернула пустой ответ, у неё закончились max_tokens во время рассуждений; см. руководство о токенах рассуждений и пустых ответах. Для более строгой формы JSON см. статью о структурированном выводе с JSON Schema; бесплатный генератор JSON-схем построит схему по образцу счёта.

Как ловить неверно прочитанные числа?

Считайте каждое извлечённое значение утверждением, которое нужно проверить в коде, а не данными. Строки должны давать в сумме подытог, подытог плюс НДС должен равняться итогу, даты должны разбираться и не быть в будущем, а валюта должна соответствовать стране поставщика. У саудовских номеров плательщика НДС фиксированные длина и формат, что даёт ещё одну дешёвую проверку. Неверно прочитанная цифра почти всегда ломает сумму, поэтому арифметические проверки ловят большую часть важных ошибок. Всё, что не прошло, уходит в очередь ручной проверки с изображением рядом с извлечёнными полями.

Полный пайплайн со схемой Pydantic, арифметическими валидаторами, одним повтором с текстом ошибки и очередью проверки — в статье об извлечении данных счетов и чеков в JSON с помощью vision-LLM.

Какая vision-модель должна читать арабские документы?

Изображения принимают три чат-модели BroadNet Inference:

Модель Вход / выход за 1 млн токенов Контекст Примечания
Qwen3.8 27B $0.175 / $2.17 262 144 Модель, которую BroadNet тестировала на арабском
DeepSeek V4.1 Flash $0.175 / $0.52 1 048 576 Также на безлимитных тарифах с фиксированной ценой
BroadNet Gemma 4 VL 26B $0.10 / $0.22 32 768 Самая дешёвая из vision-моделей BroadNet; работает на бесплатном кредите и с почасовым ключом за $0.50

BroadNet сообщает, что в её тестах Qwen3.8 27B писала беглый арабский текст, понимала диалекты Залива и египетский и точно переводила между арабским и английским. Бенчмарка OCR или извлечения данных из документов BroadNet не публикует, поэтому измеряйте точность полей на своих документах. Практичная схема — Gemma 4 VL 26B для простых чеков и второй проход Qwen3.8 27B для всего, что не прошло проверку. Сравнение Gemma 4 VL 26B и Qwen3.8 27B показывает обе модели рядом.

Сколько стоит страница при чтении vision-LLM?

На ключах с оплатой по мере использования изображение тарифицируется как входные токены по цене входа модели, и чем больше изображение, тем больше токенов. Уменьшайте фотографии с телефона примерно до 1 500–2 000 пикселей по длинной стороне: арабским точкам нужно достаточное разрешение, но фото на 12 мегапикселей в основном добавляет стоимость. Посмотрите usage.prompt_tokens на нескольких реальных изображениях, чтобы узнать цену за страницу. На безлимитном тарифе DeepSeek V4.1 Flash, как сказано в документации BroadNet, изображения входят в безлимитное использование тарифа. Расчёт токенов на изображение и на страницу разобран в статье о стоимости vision-LLM за изображение.

Когда классический OCR всё ещё выигрывает?

  • Длинные отсканированные книги и архивы, где для поиска нужно каждое слово, а не несколько полей.
  • Строгая воспроизводимость, когда один и тот же вход всегда должен давать один и тот же текст.
  • Обработка офлайн или на устройстве без сети.

Движки с открытым кодом вроде Tesseract предлагают обученные данные для арабского (ara) и работают офлайн. Хорошо работает и гибрид: OCR страницы для текста, по которому можно искать, и отправка изображения в vision-LLM за полями, по которым нужно действовать. Какие облачные API OCR поддерживают арабский, печатный и рукописный, и сколько каждый стоит за 1 000 страниц — в сравнении API OCR для арабского.

Конфиденциальность

Счета и удостоверения содержат имена, налоговые номера и банковские реквизиты. BroadNet Inference не хранит изображения, промпты и ответы после запроса; см. нулевое хранение данных. Применяйте то же правило к своему хранилищу: держите только нужные извлечённые поля и удаляйте изображения, которые больше не обязаны хранить.

Вопросы и ответы

Vision-LLM точнее OCR для арабского?

Зависит от документа. Vision-LLM обычно лучше понимают вёрстку и извлекают именованные поля из счетов и чеков. Специализированный OCR может быть предсказуемее на длинных чистых печатных страницах. Проверьте оба варианта на выборке своих документов.

Могут ли vision-LLM читать рукописный арабский?

Иногда, если почерк разборчивый. На беглом или торопливом письме точность быстро падает. Рукописные поля с низкой уверенностью отправляйте на проверку человеку.

Какая модель BroadNet дешевле всего для чтения изображений?

BroadNet Gemma 4 VL 26B, $0.10 за 1 млн входных токенов. Она также работает на бесплатном стартовом кредите и с почасовым ключом по фиксированной цене.

Как перевести восточноарабские цифры в западные?

Попросите модель возвращать западные цифры, затем закрепите это в коде. В Python text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789")) преобразует проскочившие восточноарабские цифры. У персидских цифр (۰–۹) другие кодовые точки, поэтому добавьте их, если документы приходят из Ирана или Афганистана.

Может ли модель перевести арабские подписи на английский?

Да. Попросите английские ключи с исходными арабскими значениями или и то и другое. Имена оставляйте в исходной графике, чтобы избежать ошибок транслитерации.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity