Что умеет нейросеть для анализа документов

Нейросеть для анализа документов читает текст и делает с ним четыре вещи: пересказывает, достаёт нужные данные, сравнивает версии и отвечает на вопросы по пачке файлов. С этим справляются многие современные модели, но качество на ваших документах нужно проверить. Многое зависит от того, как вы даёте документы и как проверяете результат.

ЗадачаЧто даёт нейросетьЧто остаётся человеку
Краткое содержаниеПересказ на страницу вместо пятидесятиРешить, что из этого важно
Извлечение полейСтороны, даты, суммы, сроки в таблицуСверить спорные значения с документом
Сравнение версийСписок смысловых изменений между редакциямиОценить, приемлемы ли изменения
Ответ по пачке документовОтвет на вопрос со ссылкой на файл и разделОткрыть источник и убедиться

Рейтинга «лучших нейросетей» здесь не будет. Модели меняются каждые несколько месяцев, а качество на ваших документах всё равно придётся проверять самим. Как сравнить модели на своих примерах, рассказано в статье какую нейросеть выбрать.

ИИ для анализа документов полезен там, где текста много, а ответ можно быстро сверить с первоисточником. Там, где проверить ответ трудно, его пользу съедает перепроверка.

Четыре задачи для нейросети

У каждой задачи свой способ постановки и свой способ проверки. Ниже примеры запросов, которые можно взять за основу.

Краткое содержание документа

Пересказ получается полезным, когда вы говорите, для кого он и что в нём должно быть. Просьба «перескажи кратко» даёт общий текст, в котором легко потерять главное.

Пример запроса: «Перескажи этот отчёт для директора, не больше 10 пунктов. Отдельно выпиши сроки, суммы и обязательства нашей компании. По каждому пункту укажи раздел или страницу. Если чего-то в тексте нет, так и напиши».

Слабое место пересказа в том, что модель может пропустить важную оговорку в приложении или сноске. Поэтому пересказ помогает решить, читать ли документ целиком. Если по документу вы что-то подписываете, чтение он не заменяет.

Извлечение полей в таблицу

Нейросеть достаёт из текста заданные поля: стороны, номер и дату, сумму, срок, условия оплаты, ответственных. Это самая проверяемая задача: у каждого значения есть место в документе, и его можно найти.

Пример запроса: «Из каждого документа ниже выпиши в таблицу: номер, дата, контрагент, сумма с НДС, срок действия, пункт с условием оплаты. Значения бери только из текста. Если поля нет, ставь „не найдено“, ничего не додумывай».

Если документы приходят сканами, поля сначала нужно распознать. Как это устроено и где там ошибки, разобрано в статье про распознавание документов.

Сравнение версий

Модель находит смысловые изменения между двумя редакциями: новый срок, другой порядок оплаты, исчезнувшее условие. Обычное сравнение в текстовом редакторе показывает каждую запятую, а нейросеть может отделить правки по смыслу от стилистических.

Пример запроса: «Сравни редакции А и Б. Выпиши таблицей только изменения, которые меняют права, обязанности, сроки или деньги: пункт, было, стало. Стилистические правки не считай. Если пункт перенесён, укажи старый и новый номер».

Здесь стоит помнить, что модель может не заметить изменение, если пункт переписан другими словами. Для важных документов полезно прогнать и обычное построчное сравнение, а нейросеть использовать как пояснение к нему. Как проверять договор перед подписанием целиком, рассказано в статье про проверку договора.

Ответ на вопрос по пачке документов

Вопрос вида «где у нас сказано, кто согласует командировки» требует сначала найти нужный документ среди многих, а потом ответить по нему. Если положить в чат два-три файла, модель прочтёт их целиком. Если документов сотни, их уже не загрузить разом, и нужна система, которая сначала ищет подходящие фрагменты. Так устроен RAG, подробно о нём в статье что такое RAG.

Главное требование к такому ответу: рядом должна стоять ссылка на документ и раздел. Без неё вы не знаете, взят ответ из ваших файлов или из общих знаний модели.

Какие документы чаще всего разбирают с ИИ

Задачи похожи, а подвох у каждого вида документов свой. Ниже то, что стоит спросить и что проверить в первую очередь.

ДокументыЧто обычно спрашиваютНа что смотреть
Договоры и допсоглашенияСроки, суммы, ответственность, условия расторженияДействующая редакция с учётом всех допсоглашений
Регламенты и инструкцииКто отвечает, какой порядок, какие срокиНе устарел ли документ, нет ли более новой версии
Отчёты и справкиГлавные выводы, цифры, отклонения от планаЦифры сверять с исходной таблицей, а не с пересказом
Письма и протоколыКто что обещал, какие договорённости, что осталось открытымОтвет должен ссылаться на конкретное письмо и дату
Нормативные документыКакие требования относятся к вашей ситуацииРедакция на нужную дату и условия, при которых требование применяется

Тендерная документация стоит особняком: в ней много частей, которые ссылаются друг на друга, и много требований к участнику. Ей посвящена статья про ИИ для тендеров.

Как подготовить документы для анализа

Качество ответа больше всего зависит от того, в каком виде документ попал к модели. Сначала общий порядок работы, потом правила подготовки, которые снижают число ошибок ещё до первого вопроса.

Порядок работы с документом
  1. Подготовить текстПолный документ, с приложениями, лучше с текстовым слоем
  2. Поставить задачуДля кого, какие поля, в каком виде
  3. Потребовать источникПункт, раздел или страница к каждому выводу
  4. Сверить с документомХотя бы спорные и важные значения
  1. Дайте текст, а не картинку. PDF, сделанный из Word, содержит текстовый слой. Скан или фото содержит только изображение, его сначала распознают, и на этом шаге появляются ошибки в цифрах и фамилиях.
  2. Проверьте, что документ полный. Договор без приложений и допсоглашений даст уверенный, но неверный ответ про сроки и суммы.
  3. Одна задача на один чат. Если в одном разговоре разбирать разные дела, модель может смешать факты из разных документов.
  4. Укажите, что считать источником истины. Например: «основной договор, с учётом допсоглашения № 2, приложения не трогай».
  5. Попросите формат ответа. Таблица с колонками, список с номерами пунктов, не больше N строк. Так ответ проще проверять.
  6. Разрешите не знать. Фраза «если в тексте нет ответа, напиши, что не нашёл» снижает риск выдуманного ответа.

Как проверить ответ нейросети по документу

Проверка начинается со ссылки на источник: каждый вывод должен указывать на конкретное место в документе. Если ссылки нет, ответ нельзя проверить быстрее, чем перечитать документ самому.

Что делать с ответом:

  • Откройте указанное место. Убедитесь, что фраза там действительно есть и значит то же, что в ответе. Модель может дать верный номер пункта и неверно его пересказать.
  • Сверьте цифры и даты дословно. Суммы, проценты, сроки, номера договоров переписывайте из документа, а не из ответа.
  • Спросите, чего модель не нашла. Вопрос «какие утверждения ты не можешь подтвердить текстом» часто вытаскивает додуманные места.
  • Задайте вопрос, ответа на который в документе нет. Если модель уверенно отвечает, значит, она отвечает из общих знаний, и доверять ей по этим документам нужно осторожнее.
  • Проверьте полноту на известном примере. Возьмите документ, где вы сами знаете все риски, и посмотрите, сколько из них нашла нейросеть.

Если ИИ ничего не нашёл, это ещё не значит, что в документе ничего нет. Отсутствие замечаний проверяется так же, как и их наличие.

Ограничения: где нейросеть ошибается

Ошибки нейросети обычно повторяются в одних и тех же местах, и многие из них связаны с тем, как документ дошёл до модели. Зная эти места, их проще проверять.

ГдеЧто происходитЧто делать
Сканы и фотоОшибки распознавания в цифрах, печатях, рукописных пометкахСверять важные значения с изображением
Длинные файлыМодель может упустить детали или получить только часть текстаДелить на разделы, задавать вопросы по частям
ТаблицыСтроки и столбцы съезжают при извлечении текста, значения попадают не в ту колонкуПроверять таблицы отдельно, по возможности давать исходный файл таблицы
Ссылки на другие документы«Согласно приложению 3», а приложения нетЗагружать комплект целиком
Выдуманные фактыУверенный ответ, которого нет в текстеТребовать источник и открывать его

Последний пункт называют галлюцинациями. Полностью их не убрать, но можно построить работу так, чтобы ошибку чаще замечали до того, как она попадёт в результат. Подробно об этом в статье про галлюцинации нейросетей.

Отдельно про длинные документы. У каждой модели есть предел объёма текста, который она обрабатывает за раз, и сервис может молча обрезать файл. Если ответ касается только первых разделов, спросите модель, что она видит в конце документа.

Что нельзя загружать в публичные сервисы

Документ, загруженный в публичный чат с нейросетью, уходит за пределы компании. Вы не управляете тем, где он хранится, как долго и пойдёт ли на обучение модели: это определяют условия сервиса и ваш тариф.

Без согласования в компании не загружайте в публичные сервисы:

  • договоры с коммерческой тайной и условиями, которые контрагент просил не раскрывать;
  • документы с персональными данными: паспорта, резюме, трудовые договоры, медицинские справки, списки клиентов;
  • внутренние финансовые отчёты и планы;
  • материалы, доступ к которым у вас ограничен законом или договором.

Лучше работать с обезличенными примерами или с системой, развёрнутой у себя. Если без публичного сервиса не обойтись, замените имена, реквизиты и суммы метками. Как обезличивать документы и какие схемы работы с ИИ вообще допустимы, разобрано в статье про нейросети и персональные данные. Это не юридическая консультация: конкретный порядок согласуйте с юристом и службой безопасности.

Ещё одна оговорка про зарубежные сервисы. OpenAI, разработчик ChatGPT, не включает Россию в список поддерживаемых стран, а доступ из стран вне списка, по словам компании, может привести к блокировке аккаунта. Из российских сервисов можно попробовать GigaChat и Алису. Что они умеют с вашими файлами и где хранят данные, проверяйте в их условиях на дату использования.

ИИ для анализа документов в компании: когда нужен корпоративный ассистент

Публичного чата хватает для разовой задачи: пересказать отчёт без тайны, сравнить две редакции типового документа. Когда вопросы по документам задают каждый день и многие сотрудники, удобнее корпоративный ассистент, который работает по документам компании.

Публичный сервис или свой ассистент
Нужно анализировать документы
  • Разовая задача, документ без тайныПубличный сервис, согласованный в компании, с проверкой ответа
  • Много документов, сотрудников или есть тайнаАссистент на документах компании с правами доступа и источником у ответа

Признаки, что пора переходить на свою систему:

  • Документов больше, чем помещается в чат. Сотни регламентов, договоров, писем, и нужный файл ещё надо найти.
  • Один и тот же вопрос задают разные люди. Каждый загружает файлы заново и получает немного разные ответы.
  • Нужны права доступа. Бухгалтерия не должна видеть кадровые документы, а подрядчик не должен видеть ничего лишнего.
  • Документы нельзя выпускать наружу. Тогда систему, а иногда и модель, размещают в инфраструктуре компании или в российском облаке.
  • Нужен журнал. Кто что спросил, на какой документ опирался ответ, кто его проверил.

Корпоративный ассистент обычно построен на поиске по документам с последующим ответом модели. Он показывает, на какой документ и раздел опирается ответ, поэтому ответ проще проверить, чем искать нужное место вручную. Как начать такой проект и что подготовить, рассказано в статье как создать ИИ-ассистента. Если документы разрозненные и устаревшие, начать стоит с базы знаний.

Для архива договоров есть отдельный класс систем: они не только отвечают на вопросы, но и собирают реестр из самих документов. Пример такой системы — Flex Документы: ответ со ссылкой на пункт и подсвеченной страницей скана. Таблицы и выгрузки из учётных систем разобраны в статье про нейросеть для анализа данных.

Типичные ошибки при анализе документов с ИИ

  • Поверили ответу без ссылки. Ответ звучит гладко, но взят из общих знаний модели, а не из вашего документа.
  • Загрузили документ без приложений. Вывод сделан по неполному тексту.
  • Не заметили, что файл обрезан. Модель ответила по первой половине документа и не сказала об этом.
  • Попросили «найти все риски». Без указания, чью сторону вы представляете и что считаете риском, ответ будет общим.
  • Проверяли только найденное. Пропущенное условие опаснее неверно пересказанного, а его без контрольного примера не увидеть.
  • Загрузили лишнее. Документ с персональными данными оказался в личном аккаунте сотрудника.

Как начать в отделе за неделю

  1. Выберите одну задачу. Например, извлечение полей из входящих договоров или ответы на вопросы по внутренним регламентам.
  2. Соберите контрольный набор. 20⁠–⁠30 документов и вопросов, на которые вы знаете верный ответ.
  3. Определите, куда можно передавать эти документы, ещё до выбора сервиса.
  4. Прогоните набор и посчитайте ошибки. Отдельно неверные ответы, отдельно пропуски.
  5. Закрепите правило проверки. Что сотрудник обязан сверять с документом, а что можно брать как есть.

После такой недели обычно понятно, хватит ли публичного сервиса с правилами или нужна своя система.

Когда звать подрядчика

Подрядчик нужен, когда документы не должны покидать компанию, их много и сотрудникам нужен общий ассистент с правами доступа. Хороший подрядчик сначала задаёт вопросы: какие документы есть, кто и о чём спрашивает, какие данные нельзя выпускать за контур.

Что он должен сделать:

  • разобрать материалы и вопросы сотрудников и предложить, какие документы войдут в базу;
  • настроить поиск по документам и права доступа;
  • проверить ассистента на настоящих вопросах ваших сотрудников, с источником у каждого ответа;
  • согласовать размещение: на ваших серверах или во внешнем облаке, и где работает сама модель;
  • подключить нужные сервисы, обучить команду и следить за качеством ответов после запуска.

В таком порядке идёт внедрение Flex Ассистента: аудит, база знаний, пилот на ваших данных, затем подключение и поддержка. Бесплатен первый шаг, аудит.