Демонстрация всегда работает: как отличить реальную систему искусственного интеллекта от заученной.
Практические вопросы, которые можно задать поставщику ИИ, чтобы выяснить, отражает ли их демонстрация работающую систему или тщательно подготовленный путь через неё.
Приведите свой собственный ввод
Самый полезный поступок, который вы можете совершить на встрече с поставщиком, — взять в руки клавиатуру. Передайте системе документ из вашего бизнеса: беспорядочный контракт, тема поддержки с тремя людьми, обсуждающими друг друга, или счет-фактуру от вашего хуже форматированного поставщика. Попросите их запустить его в реальном времени без подготовки.
Смотрите, что изменится. Время отклика, уклоны, форматирование, уверенность в ответе. Система, которая сохраняет свою форму при вводе, который никто не подготовил, уже столкнулась с реальным миром хотя бы раз.
Если поставщик откажется, спросите почему. "Ваше данные не загружены в песочницу" — это справедливый ответ. Принимайте его, а затем сформулируйте тест в письменной форме как условие перед подписанием договора, вместе с вашими файлами и вашим определением успешного результата.
Спросите, что происходит, когда ответ неверен
На данный момент игнорируйте точность процента и спросите о оставшихся 8%. Если система правильна на 92% времени, как выглядит остальная часть в глазах пользователя? Есть только три варианта: она говорит, что не знает, передает человеку или дает уверенно неверный ответ.
Системы, которые громко терпят неудачу, дешевле в эксплуатации. Системы, которые тихо терпят неудачу, дорогостоящи, потому что стоимость ложной информации лягет на клиента, который действует на основе неправильных данных, и сотрудника, который тратит неделю на разбор ситуации.
Затем попросите показать случай, когда система отказалась отвечать. Команды с работающей продукцией обычно с гордостью показывают такие случаи, потому что сдержанность — это сложная часть для создания.
Спросите, откуда берется ответ
Всё, что касается вашего собственного материала — политики, цены, контрактов, спецификаций продукции — должно цитировать источник. Попросите ссылку, а затем откройте её. Вопрос не в том, появилась ли ссылка. Вопрос в том, действительно ли цитируемый документ содержит то, что утверждает ответ.
Сделайте это дважды. Два проверки скажут вам больше о системе, чем час слайдов.
Спросите о дне после изменения данных
Демо-версии работают на замороженном снимке. Ваш бизнес не заморожен. Эти вопросы разделяют продукт от прототипа:
- Как новая или исправленная информация попадает в систему, как часто и чья работа это?
- Когда документ удаляется или заменяется, сколько времени проходит до того, как система перестанет его использовать?
- Уважает ли система ваши существующие разрешения или все получают одинаковые ответы независимо от роли?
- Когда базовая модель меняется, вы можете протестировать её перед тем, как она достигнет ваших пользователей?
- Кто находится на связи, когда она ломается в 9 часов понедельника, и какой время отклика?
Неясные ответы здесь — самый сильный сигнал, который вы получите на всей встрече. Команда, которая запустила что-то в производстве, пережила все пять.
Попросите цифры, которые стоят чего-то
Проценты на слайде — это бесплатно. Спросите о цифрах с формой: сколько пользователей, в течение каких месяцев, по сравнению с каким базовым показателем и кто их измерял? "Решает 60% тикетов первого уровня" мало что означает, пока вы не знаете, что стоит переадресовать другие 40%, и исходила ли эта цифра из пилотного проекта с десятью людьми или из года с тысячей.
Хорошие поставщики отвечают конкретными данными и оговорками. Кто-то, кто уже запустил реальную систему, точно знает, где она испытывает напряжение, и говорит об этом без давления.
Спросите, что не может сделать система
Попросите поставщика описать сценарии использования, в которых их система является плохим вариантом. Уверенная команда будет готова к этому ответу и он обычно точен: длинные документы в отсканированном виде, языки за пределами набора для оценки, всё, что требует суждения с юридической ответственностью.
Команда, которая говорит, что справляется со всем, на самом деле не запускала систему достаточно сильно, чтобы найти границы. Вы их найдете вместо этого после подписания контракта.
Последний вопрос
Перед уходом спросите, как выглядит обычный вторник для существующего клиента. Не демо-версия: панель управления, журналы, очередь эскалированных случаев, отчёт, который кто-то читает в пятничное утро. Реальные системы накапливают эту негламурную мебель, потому что кто-то должен был их эксплуатировать. Демо-версия не имеет вторников.