Когда ваш ИИ делает ошибку на глазах у клиента
Как разработать пути эскалации, извинения и аудит-трейлы до того, как ваша система на основе ИИ совершит свою первую публичную ошибку.
Ошибки AI: как избежать и реагировать
Ваша система может ошибаться, и это неизбежно. Но важно не то, что она ошибается, а то, как вы на это реагируете. Вот несколько шагов, которые помогут вам избежать провалов и эффективно справляться с ошибками.
Определите, что значит "неправильно"
Не все неправильные ответы требуют одинакового реагирования. Классифицируйте их заранее, указав для каждого уровня ответственного человека, временные рамки реагирования и меры по исправлению.
- Проблема с тоном: если система слишком резка или неуместно формальна, это вопрос обучения, который можно решить в следующем выпуске.
- Фактическая ошибка: неверная информация о политике, цене или сроках доставки требует немедленного исправления и связи с клиентом.
- Ошибки, затрагивающие деньги, безопасность, юридические обязательства или личные данные: такие ошибки являются критическими и требуют немедленного отключения функции до полного понимания ситуации.
Создайте страницу с этими уровнями, указав для каждого владельца, время реагирования и полномочия по отключению системы. Если ваш единственный способ отключения — это развертывание, у вас нет эффективного механизма.
Предоставьте клиенту человека, а не цикл обратной связи
Самый вредный паттерн в сервисе с использованием AI — замкнутый цикл: клиент не согласен с системой, система объясняется снова и снова, и нет видимого выхода. Люди могут простить неправильный ответ, но они не простят, если их заперты.
Каждое взаимодействие с AI должно иметь путь к человеку, доступный с первого запроса, а не с третьего. Сделайте это видимым в интерфейсе, а не спрятанным на странице помощи. Передавайте запрос человеку, который может увидеть всю предыдущую беседу клиента, чтобы клиент не был вынужден повторять ее. Также отслеживайте скорость эскалации как ключевой метрику: система, которая никогда не эскалирует, обычно имеет скрытый выход.
Установите пороговое значение, которое будет вызывать автоматическую передачу запроса человеку. Если клиент повторяет один и тот же вопрос дважды, если беседа длится слишком долго или затрагивает темы возвратов или жалоб, передавайте запрос без ожидания запроса с стороны клиента.
Извинитесь как бизнес-решение
Когда вы связываетесь с клиентом из-за неправильного ответа, важны три аспекта: скорость, конкретность и предлагаемые меры по исправлению. Подготовьте шаблон сообщения заранее, пока никто не находится под давлением.
- Укажите, что именно система ошиблась и какова правильная позиция.
- Объясните, что вы делаете, чтобы подобная ситуация не повторилась.
- Не обвиняйте модель, не объясняйте архитектуру и не используйте фразу "hallucination AI" (призрак AI) с клиентом — это звучит как оправдание компании, которая не контролирует свои продукты.
Затем заранее определите политику исправления ошибок. Если система указала неправильную цену, будете ли вы ее корректировать? Если она пообещала срок доставки, который вы не можете выполнить, что вы предложите? Обсудите эти вопросы в комнате один раз, а не реагируйте спонтанно под давлением. Согласованная политика обычно дешевле импровизации.
Ведите журнал того, что вы пожелаете знать
Аудит-след — это то, что превращает спор в расследование. Записывайте с первого дня:
- Точный ввод и точный вывод с отметкой времени и идентификатором разговора, который клиент может процитировать.
- Версия модели и номер версии, которая использовалась, а также используемый промпт или конфигурация.
- Документы или записи, которые система извлекла, чтобы определить источник ошибки.
- Все вмешательства человека: кто эскалировал, кто отменил, какие изменения были внесены.
- Результат: решена проблема, возврат средств, жалоба, отток клиентов.
Установите правила хранения и доступа к этим записям. Правовая проверка перед запуском обойдется дешевле, чем после жалобы.
Проведите репетиции
Перед запуском проведите тридцатиминутную тренировку. Используйте правдоподобный неправильный ответ, пройдите через этапы обнаружения, эскалации, связи с клиентом и исправления. Вы сразу обнаружите пробелы: отсутствие владельца в выходные дни, невозможность отключить одну функцию без отключения всех остальных и т.д.
Все вышеперечисленные шаги являются рутинными, но они определяют, останется ли одна неправильная ответ только одной неправильной. Мы создаем эти пути в системах до запуска, а не после первой плохой недели — так легче нести ответственность.