Покажите мне, где это написано: внутренний поиск, который отвечает квитанциями.
Как создать внутреннего помощника, который отвечает на вопросы из ваших собственных документов и предоставляет ссылки на точные источники, и что на самом деле делает его работу.
Цитата — это продукт
Помощник, который отвечает без указания источника, перемещает вашу работу, а не удаляет её. Вам всё равно придётся проверять, и проверка означает поиск документа самостоятельно, что было тем, что вы пытались избежать. С ссылкой на пункт, страницу и версию проверка занимает четыре секунды, и вы переходите к следующему делу.
Есть и другая важная причина, которая становится более значимой со временем. Ответ без цитаты не поддаётся проверке. Если ответ ошибочен, вы не сможете определить, был ли источник неверным, устаревшим или правильно прочитанным и плохо перефразированным. Каждое из этих имеет разную коррекцию и разных владельцев. Цитаты превращают расплывчатую жалобу на ИИ в конкретный и решаемый билет.
Что лежит в основе, без жаргона
Три части: копия ваших документов, разделённых на отрывки; шаг извлечения, который выбирает несколько отрывков, наиболее вероятных для того, чтобы содержать ответ; модель, которая пишет ответ, используя только эти отрывки и называет их.
Модель не обучается на ваших данных и не запоминает их. Она читает то, что ей предоставляет система извлечения, так же как новый аналитик читает файл, который вы кладёте на его стол. Изменение документа сегодня изменит ответ завтра. Удаление доступа ограничит ответы соответствующим образом.
Отрасль называет это извлечением, усиленным генерацией. Что важно в этом терминах — коммерческая, а не техническая сторона: дорогостоящей частью проекта является не модель. Это ваши документы.
Работа в документах
Большинство таких проектов успешны или неудачны на уровне корпуса, прежде чем кто-либо напишет запрос. Повторяющаяся работа выглядит так:
- Выбор ограниченного корпуса. Один отдел, одна цель. "Вся SharePoint" не является корпусом, это свалка.
- Настройка разрешений сначала, на этапе извлечения. Если человек не может открыть файл, помощник не должен цитировать его. Добавление этого позже будет болезненным процессом, и до тех пор, пока вы этого не сделаете, система будет утечкой.
- Удаление дубликатов. Шесть почти идентичных шаблонов контрактов приведут к шести почти одинаковым ответам, и помощник не сможет понять, какой из них фактически используется отделом кадров. Отметьте авторитетную версию.
- Решение проблем с форматами, которые сопротивляются: сканированные PDF требуют OCR, таблицы и слайды теряют смысл при преобразовании в текст, а нити электронной почты в основном являются шумом.
- Назначение каждому документу владельца и дату пересмотра. Помощник с цитатами делает видимое устаревшее содержание, иногда неприятно.
Где это не поможет
Вопросы, требующие подсчёта или сравнения по всему архиву. "Сколько контрактов продлевается в III квартале" — это вопрос базы данных, замаскированный под запрос поиска, и извлечение ответит на него уверенно и неправильно. Точно так же будет и с "каким общим объемом мы работаем с этим поставщиком". Передайте эти вопросы в отдел отчётности.
Это также не может ответить на то, что никто не записал. Если правило ценообразования находится только в голове одного человека, честный вывод будет тем, что нет источника. Система, которая говорит, что она не знает, работает правильно, и вы должны проектировать ответы с учётом этого.
Измерьте третье число
Возьмите от 50 до 100 реальных вопросов от людей, которые будут использовать систему. Не выдуманных. Затем измерите три процента: ответы с правильной цитатой, отказы из-за отсутствия источника и ответы, уверенные, но неправильные.
Третье число — единственное, которое решает, будет ли система использоваться. Один сфабрикованный ответ с ссылкой, которая не поддерживает его, обойдёт себя дороже, чем двадцать полезных ответов. Стремитесь к нулю, даже если это означает, что помощник будет отказывать чаще, чем вы хотели бы сначала.
Начните с одной полки, а не с библиотеки
Выберите одну команду с чётким набором документов и вопросом, который они задают еженедельно. Восемь недель достаточно, чтобы иметь что-то реальное в своих руках, включая работу по разрешениям. Расширяйте только тогда, когда эта группа возражала бы против потери этого.
Мы создаём такие системы для средних компаний, и шаблон остаётся тем же: узкая система с цитатами своих источников используется каждый день, а амбициозная система, отвечающая на всё, тихо заброшена к марту.