Автоматическая обработка отсканированных документов

Цель

Ускорить обработку и проверку документов, а также снизить расходы на процесс, сохраняя высокую точность распознавания данных.

Контекст:

Marketing Logic получила заказ от компании, работа которой плотно завязана на обработке разного рода документации, в том числе заполненных от руки анкет. Одна из задач сотрудников клиента — сопоставлять данные из анкет, сканов паспортов и договоров, проверять эти документы на предмет несовпадений и ошибок и переводить данные в электронный формат. До внедрения продукта Marketing Logic этот процесс проходил вручную и в зависимости от типа работ занимал от 10 до 100 FTE, а проверка одного пакета документов составляла до трёх дней. Из-за значительного объема работы руководству приходилось сохранять большой штат, при этом в силу высокой нагрузки и человеческого фактора сотрудники допускали ошибки.

Решение

Marketing Logic изучила документацию, с которой работает клиент — в данном случае это сканы паспортов разного качества, а также бланки анкет и договоров, заполненные в том числе от руки. Часть оцифрованных материалов вместе с их расшифровками мы загрузили в систему Action.Docs, чтобы та могла установить корреляцию между отображенным на фотографии и вручную набранным текстом. На базе собранного массива данных наша команда настроила модель распознавания текста —чтобы программа наиболее точно интерпретировала определенный фрагмент изображения как цифру, букву или символ. разбиралась. Кроме того, мы разработали интерфейс для сотрудников клиента, которые занимаются обработкой документации. С этим ПО отсканированные материалы можно загрузить в систему парой кликов — она сама обработает данные и предоставит расшифровку.

Помимо прочего система Action.Docs способна выявлять собственные ошибки — эта опция особенно полезна при расшифровке написанного от руки текста. В случае, если система не знает, как распознать отдельный фрагмент документа, будь то слово или символ, она сообщает об этом сотруднику — и тот вводит данные вручную. Программа запоминает новое соотношение изображения и расшифровки, добавляет его в словарь и в дальнейшем интерпретирует аналогичный фрагмент самостоятельно.

То же самое касается и случаев, когда система не уверена, что верно расшифровала текст. Перед началом работы сотрудники задают минимальный процент совпадения изображения и сохраненного в словаре текста, при котором фрагмент считается обработанным. Если система считает, что точность распознавания отдельного фрагмента ниже заданного порога, сотруднику предлагается самостоятельно ввести верное значение. Кроме того, система Action.Docs способна проводить лексический и семантический анализ расшифрованного текста, и, если полученная интерпретация кажется ей нелогичной с точки зрения смысла, она также сообщает об этом сотруднику. Таким образом система продолжает самообучаться на протяжении всего времени ее использования.

Еще одна возможность Action.Docs — финальная классификация материалов. Система может объединять отдельные страницы в единый pdf-файл либо напротив разделять многостраничный документ на отдельные файлы. При необходимости она также самостоятельно поворачивает документы, раскладывает их в нужные папки и дает файлам верные названия.

Результат

Благодаря системе Action.Docs затраты на обработку и проверку сканов документации клиента сократились на 30-95%. Все этапы обработки одного пакета документов — сканов паспорта, анкеты и договора — с использованием продукта Marketing Logic сократилась до нескольких секунд. При этом точность распознавания печатного текста, штрих-кодов и ручных отметок составила 99%, а рукописного текста — до 76%.