Человек в цикле, без театрала

Держим человека в цикле

Фраза "мы держим человека в цикле" стала стандартной гарантией при внедрении ИИ компанией, и это звучит ответственно. Но она ничего не говорит о том, где именно сидит человек, что он может на самом деле видеть и имеет ли он время и полномочия отказать. При хорошем выполнении человеческий контроль предотвращает дорогие ошибки до того, как они дойдут до клиента. При плохом — это человек, который нажимает "подтвердить" на выходные данные, которые он не может оценить, и берет на себя ответственность за систему, которую он никогда полностью не контролировал.

Поставьте человека там, где это дорого стоит

Не все выходные данные ИИ требуют проверки, а проверка всех гарантирует, что ни одна из них не получит должного внимания. Полезный вопрос не в том, важна ли эта задача, а в том, сколько стоит неправильный ответ и насколько сложно его исправить.

Модель, которая генерирует заметки для внутренних совещаний, может работать автономно; плохая заметка — это дешевый и очевидный случай. Модель, которая устанавливает сумму возмещения клиенту, заполняет регуляторную форму или отправляет электронное письмо клиенту, требует контрольной точки, потому что ошибка здесь дорого обходится и сложно исправить. Разделите решения, затрагиваемые ИИ, по стоимости неправильного ответа и сложности его исправления. Самые критичные случаи получают человека. Остальное работает автоматически с выборкой.

Проектируйте решение, а не быстрый взгляд

Контрольная точка будет эффективной только если рецензент может сформировать независимое мнение в течение времени, которое он действительно имеет. Это означает, что интерфейс должен делать больше, чем просто показывать ответ.

• Показывайте обоснование или источник, а не только вывод — строку счета, из которой взята сумма, или пункт политики, на который ссылается решение.
• Обозначайте неопределенность модели, чтобы случаи с низкой уверенностью подвергались более тщательному анализу, чем рутинные случаи.
• Сделайте отказ таким же простым, как и утверждение, с требованием указания причины. Если "отказ" требует трех кликов, а "утверждение" — одного, вы спроектировали штамп.
• Предоставьте рецензенту достаточно контекста для несогласия, но не так много, чтобы каждая ситуация занимала 20 минут. Настройте время на то, которое у него есть на каждую позицию.

Если рецензент не может объяснить, почему он утвердил что-то, он просто наблюдал за этим.

Будьте бдительны к тихому режиму отказа

Предсказуемый способ разложения контроля — это автоматизация предубеждений. Когда модель правильна 95% времени, рецензенты учатся ей доверять, и их показатель утверждения приближается к 100%. 5%, которые требуют их внимания, проходят мимо, потому что для их выявления требуется сохранять скептицизм против сильного предубеждения, что все в порядке.

Вы не можете исправить это простым напоминанием "оставайтесь бдительными". Вы исправляете это структурой. Отслеживайте показатель отказов рецензентов со временем — если он приближается к нулю, либо модель улучшилась, либо рецензенты перестали проверять, и вам нужно понять, что произошло. Периодически включайте известные плохие случаи и проверяйте, ловит ли система их. Заменяйте рецензентов, прежде чем усталость установится. Рассматривайте контрольную точку, которая никогда не отклоняет ничего, как неработающую, а не успешную.

Дайте реальную власть

Человек в цикле без полномочий остановить процесс — это просто украшение. Рецензенту нужен настоящий "отказ", который останавливает рабочий процесс, передает дело более старшему сотруднику или запускает ручной режим — и организация должна принять, что это иногда замедлит процесс. Если руководство тайно наказывает тех, кто блокирует пропуск, рецензенты быстро поймут послание и перестанут блокировать. Контроль, который вы спроектировали, исчезнет, а у вас останется лишь видимость контроля, а не его содержание.

Решите заранее, кто несет ответственность за результат, когда человек утверждает плохое решение ИИ. Если ответ — "модель", вы не поставили человека в цикл. Вы просто нашли кого-то, на кого можно свалить вину.

Планируйте изменения цикла

Контроль не является фиксированной стоимостью, которую вы платите вечно. По мере сбора данных о том, где модель надежна, а где нет, вы можете освободить людей от случаев, в которых они никогда ничего не обнаруживают, и сосредоточиться на тех, где происходят отклонения. Цикл должен сжиматься со временем в некоторых местах и оставаться твердым в других. Это работает только при условии, что вы измеряли показатели отклонений и стоимость ошибок с самого начала, а не просто отмечали наличие человека в конце процесса внедрения.

Это нелюбимая часть внедрения ИИ — контрольные точки, аудит-трейлы, честный учет того, что стоит неправильный ответ. Это также место, где на самом деле живет ценность и риск. В "Hercules A" мы придерживаемся этого подхода: создание контроля в систему, а не просто добавление рецензента в конец процесса и объявление его безопасным.