Почему ваши пилоты ИИ постоянно застревают перед запуском
Искусственные пилоты, которые никогда не попадают в производство, истощают бюджет больше, чем он может себе позволить. Вот реальная стоимость и как остановить этот цикл.
Большинство компаний, экспериментирующих с ИИ, имеют свой "кладбище"
У большинства компаний, занимающихся экспериментами с искусственным интеллектом, есть так называемое "кладбище проектов". Это папка с презентациями, несколько пассивных каналов в Slack и три-четыре пилота, которые хорошо работали на демонстрации, но затем тихо прекратили свое существование. Никто их не закрыл; они просто никогда не перешли в стадию повседневного использования.
Удобная версия истории заключается в том, что эти эксперименты были недорогими, поэтому потеря незначительна. Но это неверно. Пилот, который никогда не выходит на производство, обходится гораздо дороже, чем счет за его создание, а самые крупные расходы даже не отражаются в счете.
Что фактически тратит пилот
Начнем с того, что можно подсчитать. Пилот потребляет инженерные часы, комиссионные поставщиков и внимание людей, которые согласились его протестировать. Но люди, тестирующие пилот, редко являются свободными ресурсами. Обычно это ваши самые сильные операторы, потому что именно они хорошо понимают процесс и могут оценить, помогал ли ИИ. Каждый час, потраченный на оценку инструмента, который ничего не выпускает, — это час, отнятый у работы, которую могут выполнять только они.
Затем есть работа с данными. Большинство серьезных пилотов требуют, чтобы кто-то очищал записи, метил примеры или подключал систему к реальной среде. Эта работа реальна и долговечна, но только если пилот выходит на производство. Когда он застревает, очищенные данные устаревают, а интеграция отключается. Вы заплатили за создание актива, а затем позволили ему истечь сроком действия.
Расходы, которые не отражаются в бухгалтерской отчетности
Самая дорогая часть — это то, что мертвый пилот делает для всех, кто его наблюдал.
Первым жертвой становится доверие. Когда перспективный инструмент демонстрируется команде, а затем исчезает, люди понимают, что проекты по ИИ — это театр. Следующий раз, когда вы предложите новый пилот, сильнейшие операторы — те же самые, кого вам нужно — могут отказаться, потому что они видели, как это заканчивается. Вы не начинаете следующий пилот с нуля; вы начинаете его с отрицательного баланса, против накопившегося скептицизма, который вы сами создали.
Второй жертвой становится своевременность. Пока ваш пилот находился в состоянии оценки, базовые модели продолжали улучшаться, а конкуренты продолжали выпускать свои продукты. Преимущество, которое вы надеялись захватить, никогда не было в демонстрации. Оно было в месяцах компенсирующего обучения, которые начинаются только тогда, когда реальные пользователи зависят от системы. Пилот, который никогда не выходит на производство, не дает вам этой выгоды.
Почему пилоты застревают
Пилоты редко терпят неудачу из-за того, что технология не работает. Они застревают по причинам, присутствующим еще до написания первого кода:
- Отсутствие владельца с правом вывода на производство. Пилот, спонсируемый "инновациями", но не командой, которая будет его использовать, не имеет пути к производству.
- Успех никогда не был определен заранее. Если никто не согласился заранее, что станет результатом, который оправдывает запуск, любое достижение будет выглядеть как "интересно, давайте продолжим исследования".
- Последняя миля была вне сферы охвата. Разрешения, мониторинг, обработка ошибок и поддержка рассматриваются как постсценарии, поэтому работающий прототип все еще находится на месяцы от того, чтобы быть безопасным для использования.
- Пилот решил задачу демонстрации, а не реальную работу. Он впечатляюще справился с чистым случаем и игнорировал грязные 30%, которые составляют большую часть фактической работы.
Примечание: ни одна из этих проблем не является модельными. Они связаны с решениями о собственности, сфере охвата и приверженности, принятыми на начальном этапе.
Запускайте пилоты так, как будто они будут выведены на производство
Решение заключается в том, чтобы перестать рассматривать пилот как вопрос о технологии и начать рассматривать его как первый этап производства. Прежде чем начать, определите человека, который будет владеть инструментом в производстве, и дайте ему право вето. Запишите единственное число, которое спровоцирует запуск, и число, которое спровоцирует безопасное отключение. Включите рутинную последнюю милю — доступ, мониторинг, резервный вариант на случай неправильной работы модели — в сферу охвата пилота, а не после него. Выберите реальный рабочий процесс с реальным объемом, а не демонстрацию.
Это занимает больше времени для старта, и именно поэтому. Меньшее количество пилотов, построенных для вывода на производство, превзойдет более занятый поток экспериментов, которые никогда не покидают лабораторию, как по результатам, так и по доверию, которое вы сохраняете у своей команды.
В компании "Hercules A" это первое, что мы ищем, когда усилия клиента по ИИ застревают — не лучшую модель, а отсутствующего владельца и неопределенную финишную черту. Технология редко является узким местом.
Пилот не считается успешным потому, что он работал. Он считается успешным, если люди стали на него полагаться и заметили бы его отсутствие. Все остальное — это расходы, которые вы уже оплатили, но еще не учли.