Ремонт или восстановление: пять признаков того, что система искусственного интеллекта исчерпала свой потенциал

Искусственный интеллект почти никогда не умирает от решения, которое заставляет принять его. Он продолжает отвечать, продолжать оценивать, продолжать производить файл каждое утро. В то время как команда обходит его стороной, накапливаются запросы на изменения, а ежегодные расходы растут без того, чтобы кто-то решил их увеличить. Конец жизни приходит в виде медленного роста стоимости поддержания системы, что именно тот вид затрат, который никогда не появляется в повестке дня.

Таким образом, принятие решения откладывается. Реконструкция кажется дорогостоящей и разрушительной; продолжение работы кажется бесплатным. Но это не так, и задача лидера здесь — заметить момент, когда затраты на поддержание превышают стоимость замены.

Пять сигналов

Это те, которые остаются актуальными в разных отраслях и типах систем. Одиночный сигнал — повод для более внимательного изучения. Три вместе означают, что решение уже принято в вашу пользу.

• Маленькие изменения перестали быть маленькими. Правила ценообразования, которые требовали двух дней для корректировки в первый год, теперь занимают три недели и затрагивают четыре других элемента. Система накопила достаточно особых случаев, что никто не может предсказать радиус взрыва изменения.
• Обходные пути стали процессом. Люди экспортируют выходные данные и исправляют их в таблице перед тем, как кто-то их использует. В этой таблице теперь есть владелец, конвенция наименования и резервная копия. Реальной системой является обходной путь; официальной — источник данных.
• Вы не можете ответить на основные вопросы о ней. Почему система отклонила этого клиента в марте? Какая версия работала, когда цифры изменились? Если никто не может ответить без недели археологических раскопок, вы несете регуляторную и репутационную ответственность, которую не оценили.
• Знания живут у одного или двух человек. Каждое изменение зависит от того же человека. Они не хранят ничего; они просто единственные выжившие копии решений по дизайну. Это риск кадрового состава, замаскированный под технический.
• Ограничение изменилось. Система была построена вокруг ограничения, которое больше не существует — контекстное окно, потолок задержки, цена за вызов, способность, которая требовала трех компонентов и теперь требует одного. Большая часть того, что вы поддерживаете, является конструкцией для проблемы, которая исчезла.

Что не является сигналом

Один плохой квартал качества вывода обычно является проблемой данных, а не дизайна. Выпуск новой модели не является поводом для реконструкции чего-либо; если ваша система хорошо структурирована, замена модели — это изменение конфигурации, и вы должны проверить, подходит ли она. Шумный инцидент также не является доказательством — инциденты группируются вокруг видимых систем, а не хрупких.

Важное различие заключается между системой, которая плохо работает, и системой, которая стала дорогостоящей для изменения. Первая исправима. Вторая — структурное заключение, и никакая сумма патчей его не отменит.

Оцените затраты на поддержание, а не только на реконструкцию

Предложения по реконструкции теряют, потому что только одна сторона баланса получает число. Поставьте цифру на другой стороне, прежде чем принять решение.

Сложите, что текущая система потребляла за последние 12 месяцев: часы инженерной работы по обслуживанию и инцидентам, счет от поставщика и вычислительных ресурсов, часы, потраченные людьми на ручную коррекцию внизу, и стоимость изменений, которые бизнес просил, но не получил. Эта последняя позиция обычно самая большая и почти никогда не учитывается. Затем посмотрите на те же 12 месяцев два года назад. Если линия растет, в то время как выходные данные плоские, у вас есть ответ, и у вас он в единственной валюте, в которой совет директоров аргументируется.

Реконструируйте по частям и сохраните данные

Реконструкция не означает двухлетнюю программу с датой переключения. Системы, которые хорошо заменяются, заменяются по одному функциональному модулю: выстраивайте новую траекторию для узкой доли трафика, запускайте ее рядом со старой, сравнивайте выходные данные на реальных случаях, перемещайте слой в сторону, повторяйте. Старая система остается включенной до тех пор, пока последний слой не переместится. В какой-либо момент бизнес не зависит от одного выходного уикенда.

Единственное, что стоит сохранить вперед, — это данные: помеченные примеры, исправления, запись того, что система неправильно поняла и как люди ее исправили. Накопленное суждение — действительно ценный актив. Код вокруг него заменим, и в какой-то момент его следует заменить.

Большинство организаций ждут примерно на год дольше. Стоимость этого года редко видна, именно поэтому ее нужно измерять. Мы построили нашу практику вокруг того, чтобы нести это бремя за наших клиентов, но измерение — в ваших руках, и оно стоит сделать до следующего бюджетного цикла, а не после.