Обновление, которого вы не просили.

Почему обновления могут нарушить работающую систему

Новое модельное обновление, как правило, лучше в среднем, но отличается в деталях. Поставщики оптимизируют по общим показателям; вы развернули модель против своей узкой реалии. Когда модель меняется, поведение, на котором вы настроили свою систему, также меняется — формулировки, которые вы использовали в запросах, структура JSON, ожидаемые границы отказа, длина, подходящая для вашего интерфейса.

Обновления могут происходить тремя способами: поставщик отключает старую версию и мигрирует вас, вы используете плавающий псевдоним, который автоматически разрешается на новую версию, или вы намеренно обновляете модель, чтобы сократить затраты или время отклика, полагая, что качество только улучшится. Все эти методы приводят к одному результату: поведение изменилось, но никто не измерил эти изменения.

Создайте систему, которая вам это сообщит

Единственный важный контроль — это набор тестовых случаев с известными правильными ответами — золотой набор. 200 реальных примеров из вашего фактического трафика, охватывающих ваши типичные случаи, крайние ситуации и ситуации, когда неверный ответ может быть дорогостоящим. Каждый из этих примеров должен иметь ответ, который ваша компания считает правильным.

Запустите этот набор тестов против текущей модели и запишите результаты. Это будет ваш базовый показатель. Когда появится новая модель, запустите тот же набор снова и сравните результаты. Сравнение — это вся продукция: теперь у вас есть доказательства, а не впечатления.

Создание такой системы занимает несколько дней и требует участия операторов, а не инженеров, чтобы определить, что такое «правильный» ответ. Большинство организаций пропускают этот шаг, потому что он кажется излишним до запуска. Это самый дешевый вид страхования для всей системы.

Контролируйте, когда изменения достигнут вас

Установите явные версии моделей во всех производственных конфигурациях. Явная версия превращает неожиданное обновление в осознанный выбор, который вы можете запланировать. Затем рассматривайте каждое обновление как небольшой проект:

Запустите золотой набор тестов против новой версии и сравните результаты по каждому случаю с базовыми показателями
Попросите владельца бизнеса проверить каждый случай, когда ответ изменился, а не только те случаи, когда он ухудшился; улучшения также могут нарушить работу систем ниже
Отправьте небольшую долю реального трафика на новую версию и наблюдайте за операционными сигналами: уровень эскалации, среднее время обработки, количество редакций, внесенных персоналом, клики «отменить»
Держите старую версию доступной в течение периода для возврата, и знайте, кто имеет право переключиться
Записывайте решения, даты и доказательства, чтобы следующее обновление начиналось с известной точки

В этом списке нет демонстраций. Наблюдение за тем, как новая модель отвечает на пять вопросов впечатляюще, не дает никакой информации о 20-м процентиле вашего трафика, откуда исходят ваши жалобы.

Следите за сигналами, которые уже генерирует ваш бизнес

Между обновлениями изменения качества проявляются в цифрах, которые вы, вероятно, уже собираете. Эскалации до человека. Среднее время обработки. Сколько раз персонал редактирует систему перед отправкой. Повторные контакты по одной и той же проблеме в течение недели. Любое из этих показателей, увеличившееся на 3-4 балла за две недели, стоит того, чтобы посмотреть, что изменилось в слое модели.

Назначьте одному человеку постоянную задачу по еженедельному анализу этих показателей против текущей версии модели в производстве. Не комитет, не квартальный обзор. Назначенный владелец и 15-минутная проверка.

Включите это в контракт

Попросите у поставщика письменное уведомление перед отключением версии, документально подтвержденный минимальный период поддержки для закрепленных версий и доступ к предыдущей версии во время миграции. Поставщики, обслуживающие регулируемые отрасли, как правило, предлагают такие услуги. Если они не предлагают, они скажут вам об этом до того, как вы начнете с ними работать, а не после.

Честное положение

Вы не можете остановить поставщика от улучшения своих моделей, и вы бы не хотели этого делать. Но вы можете убедиться, что эти улучшения происходят на ваших условиях: измеримые, поэтапные, обратимые и контролируемые кем-то.

Это неловкая сторона работы с ИИ в производстве, а не с пилотными проектами — и это то, чем мы занимаемся за клиентов, которые предпочли бы сосредоточиться на своем бизнесе. В любом случае, создайте золотой набор. Все остальное зависит от него.