Начать с одной задачи
Я бы начал подготовку документов с вопроса, на который должен отвечать помощник. Для условного примера возьму сроки поставки. Нужен ответ по действующей инструкции: какой срок относится к обычному заказу, какие есть исключения и кто подтверждает нестандартный случай. Название папки «Все документы компании» этого задания не описывает.
Запишите ожидаемый результат до загрузки. Например: краткий ответ, ссылка на инструкцию и указание, для какого вида заказа действует названный срок. Если в исходнике ответа нет, помощник должен сообщить об этом и передать вопрос человеку. Это предлагаемые условия приёмки для нашего примера, а не характеристика любого готового ИИ-продукта.
Затем отберите материалы именно для этой задачи. Я бы отдельно перечислил, что пока не входит в проверку: расчёт индивидуальной скидки, обещание даты конкретному клиенту, изменение условий договора. Так можно обсуждать подготовку ограниченного набора документов, не выдавая небольшой опытный запуск за автоматизацию всей компании.
Более общий выбор задач разобран в статье о том, что умеет ИИ-ассистент для бизнеса. Здесь сосредоточусь на его исходных материалах.
Реестр исходников: предложенный рабочий шаблон
Для выбранной задачи я предлагаю простой реестр: название документа, назначение, ответственный за содержание, действующая версия и место хранения. Это мой рабочий шаблон, а не отраслевой стандарт. В нём удобно зафиксировать, на каком основании конкретный файл попал в набор для помощника.
Условная строка может выглядеть так: «Инструкция по поставкам; ответы об обычных заказах; ответственный — руководитель операций; версия Б; ссылка на согласованный экземпляр». В настоящем реестре вместо названия роли укажите того, кто действительно может подтвердить содержание. Само наличие строки в таблице ещё не доказывает актуальности документа.
Добавьте, когда и кем версия проверена. Не подменяйте это датой последнего сохранения файла: правка оформления и утверждение нового правила — разные события. Если ответственный пока не подтвердил материал, я бы отметил его как ожидающий проверки, не включал в действующий набор и записал, у кого нужно уточнить статус.
Ссылка должна вести к определённому экземпляру. Папка с несколькими похожими файлами оставляет вопрос открытым. Если инструкция собрана из нескольких приложений, перечислите их рядом. Для теста полезно сохранить копию проверяемого набора: позднее будет с чем сравнить исходники, если ответ изменится.
Две версии инструкции: что решить до загрузки
Продолжу явно условный пример. В версии А записан срок пять рабочих дней, в версии Б — семь. Эти числа придуманы для разбора и не описывают услуги TimLabs или реального клиента. По имени файла нельзя установить, какое правило действует. Сначала ответственный должен подтвердить версию и область её применения.
Возможно, Б заменила А. Но возможно и другое: документы относятся к разным видам заказов и оба нужны. В первом случае для текущих ответов я бы оставил подтверждённую версию Б. Во втором — явно отметил бы, какие заказы описывает каждая инструкция, и добавил вопрос, позволяющий различить эти случаи.
Архив не требуется уничтожать ради помощника. Его можно сохранить отдельно от набора для текущих ответов. Если задача касается прошлых событий, исторические версии могут понадобиться; тогда период действия становится частью запроса и проверки результата. Смешивать такую задачу с ответами по нынешним правилам я бы не стал без отдельной настройки.
Пока противоречие не объяснено, предлагаю остановить включение этих файлов в рабочий набор. Требование «отвечай только правильно» не выбирает действующую инструкцию вместо её владельца.
Фрагменты текста и связь с исходником
В документации Haystack компонент DocumentSplitter принимает документы и возвращает документы с разделённым текстом. Там же указано, что прочие метаданные копируются из исходного документа. Это описание одного компонента: разделение текста и перенос сопровождающих полей выполняются в рамках его работы. Из него нельзя вывести, что любой инструмент автоматически сохранит версии или ограничения доступа.
Я бы проверял два результата подготовки отдельно: что находится в самом фрагменте и можно ли установить его происхождение. Например, фраза «срок — семь дней» без заголовка и условия применения не объясняет, к какому заказу она относится. В учебном наборе рядом с ней стоит сохранить условие, а в сопровождающих данных — ссылку на исходник и обозначение версии.
Универсальный размер фрагмента здесь назначать не буду. Для выбранной инструкции сначала проверьте, не разорвана ли связь правила с исключением, не потерялся ли заголовок таблицы, можно ли открыть соответствующее место в документе. Если файл распознавали, отдельно сравните извлечённый текст с оригиналом: ошибка в числе может появиться ещё до запроса к модели.
Haystack я использую здесь как проверяемый пример из документации. Это не заявление о внедрении библиотеки в TimLabs и не обещание точности ответа после разбиения.
Доступ: проверять документы до составления ответа
Рядом с каждым исходником я бы указал, кому разрешено получать из него сведения. В условной компании общая инструкция по срокам предназначена всей группе поддержки, а отдельный документ со специальными условиями — только ограниченному кругу сотрудников. Это учебная схема распределения доступа, не утверждение о том, как права должны быть устроены в любой организации.
В документации Microsoft описан конкретный подход Azure AI Search: результаты поиска фильтруются по строке идентификатора пользователя или группы. Описание включает получение личности вызывающего пользователя и передачу соответствующего значения в фильтр запроса. Одного пожелания «не показывай лишнее» в тексте обращения эта схема не описывает.
Для нашего примера я бы проверял доступ к найденным документам до того, как их содержимое используют для составления ответа. Идентичность пользователя должна поступать из предусмотренного системой механизма входа. Реплика «я руководитель» внутри вопроса не должна сама выдавать расширенный доступ. Это требования к предлагаемому испытанию, а не доказательство безопасности уже настроенного помощника.
Проведите проверку на учебных документах под двумя тестовыми учётными записями с разными разрешениями. Задайте одинаковый вопрос и посмотрите, не попали ли закрытые сведения в ответ, цитату, ссылку или название найденного файла. Я бы не начинал такую проверку с настоящих конфиденциальных материалов. Описание фильтра Microsoft не заменяет проверку конкретной реализации и её ограничений.
Как принять подготовленный набор
До запуска я бы составил несколько контрольных вопросов с заранее известным основанием ответа. Один вопрос должен иметь однозначный ответ в действующей инструкции. Для второго ответа в наборе быть не должно. Третий можно построить на различии двух видов заказов из условного примера. Проверки доступа оставьте отдельными случаями, чтобы один удачный ответ не заслонил другие ограничения.
Для каждого случая запишите ожидаемый результат и место в исходнике. Получив ответ, откройте указанный документ, проверьте его версию, найдите нужное правило и сопоставьте его с фразой помощника. Наличие ссылки ещё не подтверждает содержание: она может вести к документу, где нужного положения нет.
Если ответ не подтверждается, я бы остановил его передачу в работу и сохранил вопрос, ответ и использованные исходники. Причина не определяется одним расхождением. Стоит проверить, какую версию включили в набор, что извлеклось из файла, какие фрагменты были найдены и как из них составлен ответ. Нельзя заранее объявлять любую ошибку только проблемой документов или только проблемой модели.
После изменения инструкции вернитесь к тем контрольным вопросам, которых касается новая версия. Отдельно проверьте, перестало ли старое правило использоваться для текущих ответов. Успех ограниченной проверки означает прохождение этих конкретных случаев, а не гарантию безошибочной работы на любых вопросах.
Следующий этап подробно разобран в материале о проверке ИИ-ассистента перед запуском. Для начала я бы выбрал одну инструкцию, подтвердил её версию и подготовил один контрольный вопрос — этого достаточно, чтобы получить первый предметный результат.