Перед тем как позволить ИИ общаться с вашими клиентами
Проверочный список перед запуском для ИИ, взаимодействующего с клиентами: сфера применения, эскалация, тестирование на реальных случаях, раскрытие информации, мониторинг, ответственность и выключатель экстренной остановки.
Внутренний ИИ-инструмент, который совершает ошибку, обходится вам в час
А инструмент для взаимодействия с клиентами — в случае ошибки может привести к возврату средств, жалобе или скриншоту в социальных сетях. Инженерное решение часто похоже, но уровень риска не одинаков.
Большинство команд готовы запустить систему задолго до того, как ответят на следующие вопросы. Проанализируйте их перед тем, как система проведет первую реальную беседу.
Определите, что система разрешено делать
Не то, что она может делать, а то, что ей разрешено делать. Это два разных списка, и только второй обеспечивает вашу защиту.
Будьте конкретными и механичными. "Отвечать на вопросы о статусе заказа, сроках доставки и политике возврата" — это сфера действия. "Обрабатывать запросы службы поддержки" — нет. Затем составьте второй список: действия, которые система никогда не должна предпринимать самостоятельно. Выполнение возвратов выше определенного порога. Подтверждение цены. Формулирование заявлений о медицинских, юридических или финансовых последствиях. Изменение учетных данных. Обещание даты доставки.
Если запрос выходит за рамки первого списка, система должна передать его. Это правило должно быть реализовано в системе, а не оставлено на суждение модели в тот момент.
Определите, что делать, когда система не знает
Каждое развертывание системы для взаимодействия с клиентами требует определенного пути действий. Кто будет вести беседу дальше, как быстро и что увидит клиент во время ожидания.
Проверьте передачу перед тестированием всего остального. Получает ли человеческий агент полную запись беседы или клиенту приходится повторять свои слова? Работает ли передача в 23:00 по воскресеньям, когда никто не дежурит? Система, которая эскалирует запросы в пустую очередь, хуже, чем отсутствие системы, потому что клиент уже потратил пять минут на ее достижение.
Тестируйте на самых сложных реальных случаях, а не на придуманных
Извлеките 100 реальных бесед с клиентами за последний квартал. Не легкие, а сложные: гневные, неоднозначные, случаи, когда клиент был неправ, те, которые происходят на ваших втором и третьем языках. Запустите их через систему и лично прочитайте каждое ответное сообщение или попросите команду, которая обрабатывает такие запросы сегодня, сделать это.
Ищите короткий список конкретных ошибок:
- Уверенные ответы на вопросы, на которые система не имеет источника информации
- Неверно указанная политика: правильная идея, но неправильная цифра или срок
- Тон, который становится плоским или резким при раздражении клиента
- Любые заявления, которые могут быть приняты вашей компанией за обязательство
- Поведение, меняющееся при написании на другом языке
Вы не ищете процент точности здесь. Вы ищете форму ошибок, чтобы решить, какие из них можно принять.
Объясните клиентам, что они общаются с ИИ
Регуляторы в нескольких странах теперь требуют этого, и клиенты все равно догадываются. Компании, которые получают штрафы, — это те, которые, казалось бы, скрывали это.
Пока вы при этом, подтвердите, что происходит с данными бесед: где они хранятся, как долго, выходит ли она за пределы вашей юрисдикции и используется ли она для обучения чего-либо. Ваши юристы и специалисты по защите данных должны подписать это до запуска, а не после первого запроса о доступе к данным.
Сделайте ошибки видимыми
Записывайте каждую беседу и проверяйте выборку каждую неделю — читайте их действительно от начала. Настройте оповещения на важные сигналы: скорость эскалации, беседы, где клиент повторяет свои слова, отказы и объем жалоб, упоминающих ассистента.
Выберите одно число, по которому будете судить систему, и согласуйте его сейчас. Определите показатель отклонения, показателя разрешения, первого ответа и удовлетворенности обработанными беседами. Согласуйте порог, после которого вы будете выводить систему из эксплуатации. Решение, принятое под давлением через три недели, может быть не лучшим.
Назначьте владельца и создайте кнопку "выключить"
Один человек отвечает за эту систему в производстве по имени, с полномочиями отключать ее. Отключение должно занять одну действие и менее минуты, и кто-то должен был практиковать это. Если отключение ассистента требует развертывания, у вас нет кнопки "выключить" — есть только надежда.
Запускайте постепенно
Запустите систему на одном канале, одним языком, одной категории вопросов, 10% трафика. Расширяйте ее, когда еженедельные обзоры станут скучными. Команды, которые запускают систему широко и затем откатывают, редко получают разрешение на второй запуск.
Ни один из этих шагов не является экзотическим. Это обычная дисциплина, которую вы бы применили к любой системе, представляющей вашу компанию — что и делает этот инструмент. Мы выполняем эту работу для клиентов, которые предпочли бы не строить саму конструкцию, но контрольный список работает так же хорошо в ваших руках.