Процесс передачи данных между FC и Роботом настроен таким образом, что входящие документы поступают в папку ImportFolder Abbyy, далее FC считывает и распознает документы, после верификации отправляет их в папку ExportFolder Abbyy, которая совпадает с папкой «Импорт (Робот)». После чего уже Робот получает данные и передает дальше по папкам с целью удобства нахождения информации пользователями.
Сам процесс распознавания документа на стороне FC строится не только на непосредственном считывании текста с изображения/PDF, но и на сопоставлении выгруженных данных с конкретными полями, чтобы Робот сразу мог понять, какое значение внести в какое поле при регистрации в LotusNotes или же какие документ ему нужно искать. При этом в алгоритм работы FC встраиваются атрибуты для Поручения и Требования с названиями полей и признаком обязательности/множественности, по которым система может считать то или иное поле и сопоставить его с тегом в XML-файле (см. таблицы А3-А4 Приложения А). Структура XML-файлов представлена в пп.1 и 2 Приложения А данной работы. Сопоставление полей XML-файла и Детального отчета работы Робота, который он создает, начинает заполнять с момента получения документа и в который вносит дополнения в процессе работы с данным ЭЦП, представлено на таблице 16. Подобный отчет (упрощенный) приведен в таблице А6 Приложения А данного диссертационного исследования.
Таблица 16 Соответствие полей XML-файла (Требование) и Детального отчета работы робота (ДРРР)
|
Название тега XML |
Название поля ДРРР |
|
|
1 |
2 |
|
|
<_DocNumber> |
Требование |
|
|
<_DocDate> |
Дата требования |
|
|
<_Company> |
Наименование проверяемого |
|
|
<_CompanyINN> |
ИНН проверяемого |
|
|
<_Account> |
Дублирование информации в поля: Расчетный счет проверяемого Расчетный счет контрагента |
|
|
<_Name> |
Контрагент |
|
|
<_INN> |
ИНН контрагента |
|
|
<_CommisionNumber> |
Поручение |
|
|
<_CommisionDate> |
Дата поручения |
|
|
<_PeriodFrom> |
Период запроса ОТ |
|
|
<_PeriodTo> |
Период запроса ДО |
|
|
<_NeedDocKey> |
Запрашиваемые документы |
|
|
<_NeedInfoKey> |
Запрашиваемые документы |
Исходя из таблицы 16 мы видим, что все основные поля XML-файла, подготовленного FC, попадают в Детальный отчет работы Робота, необходимый пользователям для отслеживания аналитики и работы с возможными ошибками автоматизации. Сам отчет также сопоставим с полями, которые необходимо заполнить Роботу в LotusNotes (таблица 17).
Таблица 17 Соответствие полей ДРРР и Входящего документа БД "Канцелярия"
|
Название поля ДРРР |
Название поля Входящего документа |
|
|
Название ФНС |
Корреспондент |
|
|
Дата регистрации* |
Поле "Дата" в разделе "Поступление" |
|
|
№ вхд. |
Поле "Номер" в разделе "Поступление" |
|
|
Дата требования |
Поле "Дата" в разделе "Отправка" |
|
|
Требование |
Поле "Номер" в разделе "Отправка" |
|
|
Один из вариантов: Наименование проверяемого Контрагент |
Краткое содержание Примечание: Если нет хотя бы одного контрагента, то заполнение на основании поля "Наименование проверяемого". В ином случае - на основании поля "Контрагент". Заполнение списка контрагентов начинается после символов "по ". Если несколько контрагентов - разделяются символами "; " |
Таблица 17 свидетельствует о том, что поля, выгруженные из Требований и Поручений, необходимы в том числе и для регистрации входящиз (и исходящих) документов. Стоит также отметить, что на этапе распознавания FlexiCapture не просто сопоставляет поля со значениями, но и может подбирать определенные значения полей из списка, если программа неуверенно распознала символ или же один запрос соответствует совершенно другому/другим документам. Пример формулировки в Требовании и соответствующие ему документы:
«а также все документы, касающиеся обслуживания счета» -
Договор банковского счета
Заявление на открытие счета
Заявление о присоединении к Правилам комплексного банковского обслуживания
Иные документы по картам
Карточка с образцами подписей и оттиска печати
Устав
Приказ о назначении, вступлении в должность, предоставлении права подписи
Свидетельство о государственной регистрации юридического лица
Свидетельство о постановке на учет российской организации в налоговом органе
Договор банковской карты/ Заявление на открытие счета
Протокол (решение) о создании, назначении, внесении изменений в документы.
В связи с этим был разработан специальный словарь-справочник, в котором указаны соответствия возможных формулировок в Требовании и документов, которые необходимо искать в системах и предоставлять в ИФНС (см. таблицу А5 Приложения А). Можно заметить, что данный справочник далеко не просто формируется и будет пополняться сотрудником-верификатором с течением времени в связи с тем, что формулировки могут меняться до тех пор, пока данный процесс подготовки запроса не будет автоматизирован со стороны ИФНС.
Таким образом, мы выяснили, как происходит процесс проектирования, по большей части, 1 этапа внедрения Роботов, с какими сложностями сталкиваются аналитики и разработчики на примере реальных ситуаций и как с ними можно и нужно работать. В заключительной части мы рассмотрим фактическую реализацию первого этапа проекта, проанализируем полученные документы, подведем итоги текущего эффекта, сравним его с плановыми значениями и распишем дальнейшие действия для успешного завершения всего проекта.
3.4 Анализ эффективности внедрения технологии RPA на предприятии
На текущий момент (14.05.2019) реализована первая часть процесса (см. Рисунок 9 в п. 3.2): разработан 1 Робот, внедрена система FlexiCapture. Процесс начинается с того, что в горячую папку FC (ImportFolder Abbyy) поступают в хаотичном порядке Требования и Поручения. FlexiCapture их распознает, Верификатор проверяет, FC автоматически создает XML-файл и отправляет документы в папку Импорт (Робот). Далее реализуется процесс 1-го Робота (описанный подробно в п. 3.2), он завершается тем, что все Требования и Поручения распределены по папкам, парные Требования и Поручения и одиночные Требования зарегистрированы в LotusNotes. Более подробно реализация процесса описана в Программе и методике испытаний, основная часть из которой описана ниже.
Итак, для проведения первого этапа тестирования предусмотрены следующие входные параметры:
На Рабочем месте установлен Робот.
На Рабочем месте создана Временная папка.
Во Временную папку скопированы два произвольных файла Файл №1 (пустой файл в формате txt) и Файл №2 (пустой файл в формате pdf).
Сформирован пакет из 10 документов в виде PDF-файлов, включающий Поручения и Требования.
Поступающие сканы документов на распознавание должны быть отсканированы с разрешением не менее 300 dpi.
На одной странице изображения должен размещаться только один документ (имеется в виду, что документ может состоять из нескольких страниц, но на одной странице не может находиться несколько документов).
Для проведения тестирования выполнены следующие предусловия:
Тестовый пакет для тестирования стандартного сценария состоит из следующих документов:
Пара связанных документов (Поручение и основанное на нем Требование) по ИП;
Пара связанных документов (Поручение и основанное на нем Требование) по ФЛ (физическим лицам);
Пара связанных документов (Поручение и основанное на нем Требование) по множественным контрагентам-ЮЛ (юридическим лицам);
Пара связанных документов (Поручение и основанное на нем Требование) по контрагенту-ЮЛ;
Пара связанных документов, в которых содержится информация только по Проверяемому, наименование Контрагента отсутствует;
Произвольные документы разных форматов Файл №1 и Файл №2.
Определены Рабочие места пользователей с установленным ПО Станции верификации.
На Рабочем месте установлен Робот.
Включены в тестовое окружение:
Серверы ABBYY FlexiCapture 12: Сервер приложений, Сервер защиты (лицензирования), Сервер обработки, Сервер базы данных;
Станции ABBYY FlexiCapture 12: Станция настройки проектов, Станции обработки.
Определен пользователь с ролью Старший оператор верификации.
Верификация осуществляется на Станции верификации оператором с ролью Старший оператор верификации (выбор роли осуществляется при открытии станции). Для удобства оператору доступны различные режимы работы (Эскизы, Детали). Проблемные пакеты (документы) попадают в отдельную Очередь исключений, которая доступна только пользователю с ролью «Старший оператор верификации».
Папки Импорта (ABBYY) и Экспорта (ABBYY) пустые.
Исполнитель тестирования (далее Пользователь) открыл на одном компьютере (Рабочем месте) Приложение для отслеживания работы Робота - среда разработки UiPath Studio (далее Приложение Робота).
Робот имеет данные для входа в приложение Lotus Notes БД «Канцелярия» с правами создания карточек Требований.
Установлены следующие настройки Робота:
количество повторов действий Робота при возникновении ошибки - 3 повтора;
периодичность обхода папки Импорта после завершения регистрации обработанных пакетов - раз в 10 секунд.
Папки Исключений, Отложенных поручений, Отработки, Папка результатов обработки Требований пусты.
Далее в таблице 18 следует сам сценарий тестирования, позволяющий проверить стандартный сценарий (когда во FlexiCapture поступают Требования и Поручения по форме КНД), а также дополнительные файлы, которые должны переместиться в папку Исключений на этапе распознавания FC.
Таблица 18 Сценарий тестирования (1 этап)
|
№ п/п |
Проверяемые функции |
Порядок действий |
Ожидаемый результат |
|
|
1 |
2 |
3 |
4 |
|
|
1 |
Автоматический импорт документов |
1. Скопировать пакет документов, включающий 5 пар Требований+Поручений и 2 произвольных файла, в папку Импорта (ABBYY) 2. Ожидать в течение установленного периода проверки директории импорта |
В системе создан пакет для обработки |
|
|
2 |
Система производит автоматическое распознавание изображений, включающее в себя предобработку изображений, определение типа документа, наложение определения, проверку формата данных, правил и сборки документов |
1. Запустить Монитор Сервера обработки 2. Проверить, что после загрузки пакета изображений в систему автоматически запустился процесс распознавания 3. Открыть станцию Настройки проектов 4. Убедиться, что после окончания процесса распознавания для всех изображений документов произошло автоматическое определение типа документа и наложение соответствующего определения документа. Документы, тип которых автоматически определить не удалось, отмечены как <Неизвестный>. Для распознанных документов указан процент соотношения уверенно распознанных символов к их общему количеству. Документы с обнаруженными системой ошибками формата, правил или сборки отмечены соответствующим флагом. |
Документы загружены в систему, для документов определены соответствующие им типы и произведено наложение шаблона. Для распознанных документов указан процент уверенно распознанных символов, выявленные ошибки помечены флагом. |
|
|
3 |
Работа Старшего оператора верификации: задания поступают на проверку, доступны под ролью верификатора, документы с обнаруженными системой ошибками правил формата и сборки отмечены флагом. |
1. Открыть Станцию Верификации 2. Выбрать проект 3. Убедиться, что в основном окне Станции доступна Очередь верификации и Очередь Исключений, и отображается число заданий, ожидающих обработки 4. Нажать кнопку «Получить задание» или сочетание клавиш Ctrl+G 5. Проверить задание. 6. Проверить список полей, из которых производится извлечение данных на соответствие с п. 7.1.2 Проверяемые требования (п. 1 Требования по извлечению атрибутов для документов типа «Поручение»; п. 3 Требования по извлечению атрибутов для документов типа «Требование»). 7. Проверить вывод ошибок при отсутствии данных в обязательных. 8. После завершения обработки задания нажать кнопку «Закрыть задание» и, тем самым, отправить задание на этап экспорта. После получения задания на экран будут выведены результаты распознавания в виде списка обработанных документов. Для каждого документа отображается его тип и процент соотношения уверенно распознанных символов к их общему количеству. Документы с обнаруженными системой ошибками правил, формата и сборки отмечены соответствующим флагом. Неуверенно распознанные символы Для исправления неуверенно распознанных символов, ошибок формата и правил доступен режим Окно документа, в котором отображаются исходное изображение, извлекаемые данные (окно «Форма данных») и окно ошибок. Не определен тип документа В случае, если системой не был определен тип документа, он должен быть отмечен как <Неизвестный>. Такие документы оператор может распознать принудительно. Для этого необходимо наложить нужное определение документа, вызвав правой кнопкой мыши контекстное меню и выбрав пункт «Наложить определение документа...», после чего повторно вызвать контекстное меню и выбрать «Распознать» (или через пункт меню Сервис Распознать). Проблемные пакеты Проблемные задания, по обработке которых Оператор верификации не может самостоятельно принять решение, могут быть отправлены в Очередь исключений. Для этого необходимо выбрать пункт меню Задания Отправить В исключения... (или сочетанием клавиш Ctrl+Alt+X), после чего закрыть задание (кнопка «Закрыть задание»). Также Старший оператор верификации имеет следующие возможности, недоступные под ролью Оператор верификации: 1. Просматривать Очередь исключений для обработки проблемных пакетов. 2. Просматривать находящиеся в обработке пакеты (режим «Пакеты»). При этом для каждого пакета отображается дополнительная информация (например, Тип пакета, уверенность распознавания и т.д.). 3. Просматривать все задания Очереди верификации и Очереди исключений и отправлять их на любой этап обработки с указанием приоритета задания, комментария и оператора, которому отправляется задание (в случае, если этап предполагает работу оператора). |
На станции Верификации задание доступно. Задание успешно обработано: исправлены ошибки сборки, проверены неуверенно распознанные символы, для документов с неопределенным типом вручную произведено наложение шаблона, проблемное задание отправлено в исключение. Задание, прошедшее проверку, отправлено на этап экспорта. Список полей для распознанных документов соответствует п. 7.1.2 Проверяемые требования (п. 1 Требования по извлечению атрибутов для документов типа «Поручение»; п. 3 Требования по извлечению атрибутов для документов типа «Требование»). |
|
|
4 |
Экспорт данных осуществляется в файл формата XML |
1. Открыть ExportFolder Abbyy. 2. Убедиться в наличии xml-файлов по документам, которые были проверены и отправлены на этап экспорта. После окончания обработки документов на Станции верификации все 10 парных документов (без некорректных файлов) отправляются на этап экспорта в горячую папку ExportFolder Abbyy, доступ к которой имеет система назначения. |
В папке ExportFolder Abbyy присутствуют xml-файлы с соответствующими им pdf-файлами в количестве 10 шт. В папке «Exceptions» ExportFolder Abbyy присутствуют Файл №1, Файл №2. |
|
|
5 |
Регистрация карточек в Lotus Notes БД "Канцелярия" |
Пользователь запустил Робота в Приложении Робота. Пользователь наблюдает процесс журналирования регистрации карточек под сформированные требования в приложении Lotus Notes БД "Канцелярия". |
Пользователь может наблюдать журналирование обработки отдельных документов в Приложении Робота. По окончании процесса регистрации карточек приложение Lotus Notes БД "Канцелярия" закрывается. |
|
|
6 |
Проверка соответствия контрольных значений |
Пользователь сравнил содержание папок и файлов в тестовом окружении с контрольными значениями. |
Контрольные значения для первого этапа обработки Роботом папки Импорт совпадают с фактическими. |