Как измерить, действительно ли проект ИИ работал?
Практическая структура для оценки проектов ИИ по деловым результатам — базовые показатели, реальные метрики, полные затраты и что следить после запуска.
Как измерить успех проекта по искусственному интеллекту
Большинство проектов по искусственному интеллекту (ИИ) завершаются демонстрацией и аплодисментами. Но немногие из них заканчиваются конкретными результатами. Через шесть месяцев никто не может сказать, удалось ли сэкономить деньги, привлечь клиентов или просто добавить еще один инструмент для поддержания бизнеса. Проблема часто не в технологии, а в том, что никто заранее не определил, что будет считаться успехом проекта.
Измерение проекта по ИИ не является сложной задачей. Для этого нужно заранее решить, как должен выглядеть бизнес после успешного внедрения проекта, и затем проверить это.
Определите "успех" до начала разработки кода
Проект по ИИ считается успешным, когда он изменяет уже существующее число в бизнесе, которое вас волнует. Не точность, не качество ответа или "принятие" в абстрактном смысле. Успех измеряется числом: количество часов ручной работы, сокращенных на подготовку цитаты, дни, сэкономленные в процессе, процентные показатели ошибок в счетах, стоимость обработки каждого билета и доход на представителя.
Запишите это число и цель перед началом проекта. Требование "система должна сократить время подготовки цитаты с трех дней до одного" — это требование, которое можно проверить. "Система повысит эффективность" — это лишь согласие с этим утверждением. Если команда не может назвать конкретное число, необходимое для движения проекта вперед, проект не готов к финансированию.
Сначала измерьте базовый показатель
Вы не можете продемонстрировать улучшение без записи базового показателя. Перед запуском системы потратьте неделю или две на то, чтобы зафиксировать, как выполняется процесс сегодня: сколько времени занимают задачи, как часто они выполняются неправильно, какая их стоимость, кто с ними работает. Это скучная работа, и это самый часто пропускаемый шаг при внедрении ИИ.
Базовый показатель не должен быть идеальным. Десять временных примеров текущего процесса лучше, чем ноль. Без них любая последующая дискуссия о ценности превращается в обмен мнениями.
Оценивайте результаты, а не производительность модели
Технические команды будут сообщать технические метрики — точность, задержку, результаты тестирования. Эти показатели важны для них, но не должны быть важны и для вас. Модель может быть точной на 95%, но при этом она может провалить проект, если ее неправильные ответы касаются ваших самых важных клиентов или если сотрудники просто перестали использовать ее в марте.
Метрики, которые стоит рассмотреть на уровне руководства, делятся на четыре группы:
- Выполнение: выполняется ли работа быстрее, дешевле или лучше по сравнению с базовым показателем
- Принятие: какая доля соответствующей работы фактически проходит через систему и растет ли эта доля
- Исключения: как часто человеку приходится вмешиваться, исправлять или отменять — и становятся ли эти случаи реже
- Доверие: будут ли люди, использующие систему, возражать против ее потери
Особое внимание следует уделить показателю принятия. Система, используемая для 8% соответствующей работы, не работает, независимо от ее точности. Снижение использования — это самый честный сигнал о том, что что-то не так, и он появляется задолго до того, как кто-либо подаст жалобу.
Рассчитайте полную стоимость
Стоимость разработки — это видимая часть. Реальная общая стоимость включает постоянные элементы: расходы на подписку и вычисления, время, которое сотрудники тратят на проверку результатов, обслуживание при изменении API или смещении процесса, для которого была построена система. Проект, который экономит 20 часов в неделю, но потребляет 10 на проверку и обслуживание, имеет реальную отдачу — половина от заявленной.
Запланируйте обзор через три и шесть месяцев после запуска и сравните полную текущую стоимость с измеренной выгодой. Многие проекты, которые выглядели маргинально при запуске, становятся явно положительными к месяцу шестому; некоторые, которые демонстрировали блестящие результаты, оказываются явно отрицательными. Вы хотите знать, какой у вас проект, пока есть время исправить или остановить его.
Следите за деградацией
Система ИИ не является мостом; она не остается построенной вечно. Данные меняются, бизнес меняется, модель за API меняется без предупреждения. Система, которая работала в январе, может тихо деградировать к июлю, и поскольку выходные данные все еще кажутся правдоподобными, никто не заметит этого до тех пор, пока клиент не сделает это.
Ремонт прост: поддерживайте небольшой набор известных случаев с известными правильными ответами и запускайте их через систему ежемесячно. Если результаты изменятся, вы узнаете об этом от своих собственных проверок, а не от рынка. Назначьте эту задачу конкретному человеку. Деградация, которую никто не отслеживает, не будет отслеживаться.
Тест на одной странице
Если проект по ИИ был успешным, вы должны быть в состоянии описать его на одной странице: базовый показатель, цель, измеренный результат, полная стоимость и тенденция с момента запуска. Если эту страницу нельзя написать, честный вывод не в том, что проект провалился — это то, что никто не может сказать, а для бизнеса это означает одно и то же.
Эта дисциплина измерения тяжелее, чем большинство команд ожидают, но именно такая нагрузка стоит нести — она то, что отличает ИИ, который демонстрирует хорошие результаты, от ИИ, который приносит плоды. Это также часть подхода "Геркулес" к внедрению ИИ с самого начала, поэтому вопрос "работал ли проект?" всегда имеет конкретный ответ.