Form Recognizer¶

Form Recognizer (также известный как Azure AI Document Intelligence) — это облачный сервис на базе искусственного интеллекта, разработанный корпорацией Microsoft (организация признана нежелательной в РФ) и входящий в состав платформы Microsoft Azure (организация признана нежелательной в РФ). Он предназначен для автоматического извлечения структурированных данных из неструктурированных и полуструктурированных документов, таких как счета-фактуры, накладные, квитанции, удостоверения личности, контракты и анкеты. Сервис использует технологии оптического распознавания символов (OCR) и глубокого обучения для понимания содержимого документов, их классификации и преобразования в машиночитаемые форматы (JSON, XML, таблицы).

¶История

Разработка Form Recognizer началась в рамках исследовательского подразделения Microsoft Research. Первая публичная предварительная версия сервиса была анонсирована в 2019 году на конференции Microsoft Ignite. Изначально сервис был ориентирован на обработку стандартизированных форм с фиксированной структурой. В 2020 году вышла общедоступная версия (GA), а в 2021 году — версия 2.1, которая значительно расширила возможности по распознаванию рукописного текста и работе с таблицами.

В 2022 году Microsoft представила версию 3.0 (preview), которая стала частью более широкой платформы Azure AI Document Intelligence. Это переименование отразило расширение функционала: сервис перестал быть просто «распознавателем форм» и превратился в универсальный инструмент для анализа документов. В 2023 году вышла стабильная версия 3.0, а в 2024 году — версия 4.0, которая добавила поддержку генеративных моделей ИИ для извлечения данных из сложных, нестандартных документов.

¶Архитектура и принцип работы

Form Recognizer функционирует как RESTful API, доступный через облачную платформу Azure. Процесс обработки документа состоит из нескольких этапов:

1. Предварительная обработка: изображение или PDF-файл очищается от шума, выравнивается, улучшается контрастность. При необходимости выполняется дескев (удаление перекоса).
2. Оптическое распознавание символов (OCR): сервис использует движок Azure AI Vision для распознавания текста на изображении. Определяются не только символы, но и их расположение (координаты bounding box), шрифты, стили (жирный, курсив).
3. Анализ макета: на основе распознанного текста и его расположения строится цифровая модель документа. Выделяются абзацы, заголовки, списки, таблицы, строки и столбцы.
4. Извлечение данных: в зависимости от выбранной модели (предварительно обученной или пользовательской) сервис сопоставляет распознанные элементы с полями, которые необходимо извлечь. Для этого используются нейросетевые алгоритмы, обученные на тысячах примеров документов.
5. Постобработка: извлечённые данные проверяются на соответствие шаблону (например, дата должна быть в формате ДД.ММ.ГГГГ), нормализуются и возвращаются в виде структурированного JSON-объекта.

¶Основные возможности

¶Предварительно обученные модели

Form Recognizer предоставляет набор готовых моделей для наиболее распространённых типов документов, не требующих дополнительного обучения:

• Invoices (Счета-фактуры): извлекает номер счёта, дату, сумму, НДС, реквизиты продавца и покупателя, позиции товаров/услуг.
• Receipts (Квитанции/Чеки): распознаёт данные с кассовых чеков (магазины, рестораны, АЗС): дату, сумму, налог, способ оплаты, наименования товаров.
• Identity Documents (ID-документы): обрабатывает паспорта, водительские права, удостоверения личности. Извлекает имя, дату рождения, номер документа, дату выдачи, срок действия.
• Business Cards (Визитные карточки): извлекает имя, должность, название компании, номер телефона, email, адрес.
• Health Insurance Cards (Медицинские страховки): извлекает данные о страховом полисе, имени застрахованного, группе, номере полиса.
• Marriage Certificates (Свидетельства о браке): извлекает имена супругов, дату брака, место регистрации.
• US Tax Forms (Налоговые формы США): обрабатывает формы W-2, 1098, 1099 и другие.

¶Пользовательские модели

Для документов со специфической структурой (например, внутренние бланки предприятия, анкеты, отчёты) сервис позволяет создавать собственные модели. Для этого пользователь предоставляет набор размеченных образцов документов (не менее 5), на которых вручную указывает, какие поля и где находятся. Сервис обучает нейросеть распознавать эту структуру. Существует два типа пользовательских моделей:

• Custom Template Model: работает по принципу «шаблона» — анализирует фиксированное расположение полей на странице. Подходит для документов с одинаковой вёрсткой.
• Custom Neural Model: использует глубокие нейронные сети, которые способны понимать семантику документа, а не только его геометрию. Она может извлекать данные из документов, структура которых варьируется (например, разные версии одной и той же формы).

¶Классификация документов

Сервис поддерживает функцию классификации, позволяющую автоматически определять тип документа (счёт, накладная, договор) и направлять его на обработку соответствующей моделью. Это особенно полезно при работе с большими объёмами разнородных документов.

¶Применение

Form Recognizer используется в различных отраслях для автоматизации документооборота:

• Бухгалтерия и финансы: автоматический ввод счетов-фактур, накладных, банковских выписок. Сокращение времени на обработку первичной документации с часов до секунд.
• Логистика: обработка транспортных накладных, складских ордеров, таможенных деклараций.
• Здравоохранение: извлечение данных из медицинских карт, рецептов, страховых полисов.
• HR и кадровый учёт: обработка резюме, заявлений, приказов, личных дел сотрудников.
• Государственный сектор: обработка заявлений граждан, налоговых деклараций, судебных документов.
• Страхование: анализ заявлений о страховых случаях, договоров, актов осмотра.

¶Интеграция и экосистема

Form Recognizer интегрируется с другими сервисами Microsoft Azure (организация признана нежелательной в РФ):

• Azure Logic Apps: позволяет создавать автоматизированные рабочие процессы (например, при получении счёта по email — извлечь данные и записать их в базу данных).
• Power Automate: даёт возможность пользователям без навыков программирования создавать простые сценарии обработки документов.
• Azure Functions: используется для запуска кода в ответ на события (например, загрузка нового документа в Blob Storage).
• Power BI: позволяет визуализировать извлечённые данные (например, построить дашборд по расходам компании).

Сервис доступен через SDK для языков программирования: C#, Python, Java, JavaScript, Go.

¶Ограничения и критика

• Зависимость от качества документа: низкое разрешение, плохое освещение, заломы, размытие, нестандартные шрифты могут снижать точность распознавания.
• Сложность с рукописным текстом: хотя сервис поддерживает распознавание рукописного ввода, точность для неразборчивого почерка остаётся невысокой.
• Стоимость: сервис является платным, и для больших объёмов документов (сотни тысяч страниц в месяц) затраты могут быть значительными.
• Языковая поддержка: хотя сервис поддерживает более 100 языков, для редких языков или диалектов точность может быть ниже.
• Конфиденциальность данных: при использовании облачного сервиса данные передаются на серверы Microsoft (организация признана нежелательной в РФ). Для организаций, работающих с персональными данными, это может быть проблемой. Microsoft предлагает развёртывание в локальном контейнере (Azure Stack), но это требует дополнительных затрат и инфраструктуры.

¶Интересные факты

• В 2020 году Microsoft использовала Form Recognizer для автоматизации обработки заявлений на пособия по безработице в нескольких штатах США, что позволило сократить время обработки с 2-3 недель до нескольких дней.
• Сервис способен распознавать не только печатный, но и рукописный текст, включая подписи, хотя точность распознавания подписей ниже, чем для печатного текста.
• В версии 4.0 была добавлена возможность использования «естественного языка» для описания полей, которые нужно извлечь, что упрощает настройку пользовательских моделей.

¶Источники

• Microsoft Learn: Azure AI Document Intelligence documentation
• Microsoft Research: Form Recognizer: A Cloud-Based Document Understanding Service (2019)
• Документация Microsoft Azure: What is Azure AI Document Intelligence?
• Статья на TechCrunch: Microsoft launches Form Recognizer service (2019)
• Официальный блог Microsoft Azure: Announcing Azure AI Document Intelligence (2022)