Билл после создания: настоящие затраты на работу системы искусственного интеллекта

Основные расходы на AI-систему

Бюджеты для большинства проектов искусственного интеллекта заканчиваются после запуска. Предложение должно охватывать этапы поиска, разработки, интеграции и даты перехода в эксплуатацию. После этого система работает два года, но стоимость этих двух лет часто остается неучтенной. Вот что фактически отражается на счете.

Стандартный счет

Плата за модель рассчитывается по токенам — примерно по слову входных и выходных данных. Если вы выполните арифметику один раз, это сделает ее предсказуемой.

Представьте внутреннюю систему поддержки, обрабатывающую 8000 разговоров в месяц, с шестью поворотами на каждый. Это 48 000 обращений к модели. Каждое обращение включает ваши инструкции, извлеченные документы и текущую беседу — примерно 5000 токенов входных данных. Модель обрабатывает 240 миллионов токенов входных данных и 19 миллионов токенов выходных данных в месяц. При средней цене модели это составляет около $1000 в месяц, а кэширование запросов по повторяющимся инструкциям может значительно снизить расходы.

Два фактора удивляют людей: во-первых, входные данные доминируют: вы платите за все, что отправляете, и длинный контекст является основным рычагом стоимости, который вы можете контролировать. Во-вторых, повторные попытки, тестирование и внутренняя проверка добавляют 15–30% к производственному трафику. Планируйте по общему объему, а не по ставкам.

Дополнительные расходы, не указанные в предложении

Плата за модель редко является самой большой статьей расходов. Остальная часть операционных затрат связана с работой, которую требуют системы искусственного интеллекта:

Человеческая проверка. Каждый месяц кто-то читает выборку реальных выходных данных и решает, соответствует ли качество требованиям. Для систем, взаимодействующих с клиентами, предполагайте несколько часов в неделю, постоянно.
Инфраструктура вокруг модели. Индексы поиска, векторные хранилища, логирование и пайплайн для обновления документов. Каждый из них незначителен по отдельности, но совокупно они постоянны.
Изменения. Новые продукты, новые правила или новые сложные случаи, с которыми система плохо справляется. Ожидайте небольшой, стабильный поток корректировок, а не редких крупных релизов.
Изменения поставщиков. Модели устаревают в соответствии с опубликованным графиком. Миграция на преемника означает повторное тестирование всего того, что хорошо делала старая модель, обычно раз в год.
Соблюдение и ведение записей. Хранение, контроль доступа и аудитный след, подтверждающий то, что система сказала клиенту в марте.

Неожиданный расход — это статья, которая удивляет людей

Программное обеспечение терпит громкие сбои. Системы искусственного интеллекта тихо деградируют и остаются уверенными на протяжении всего процесса.

В первую очередь деградирует ваш бизнес. Цены меняются, продукты выводятся из эксплуатации, правила переписываются. Система продолжает отвечать на основе версии, которая была ей предоставлена, плавно и неправильно, пока кто-то не заметит этого.

Затем деградируют ваши пользователи. Как только люди узнают, что система может выполнять задачи, за которые она не была изначально предназначена, трафик, который казался запросами на часто задаваемые вопросы, превращается в интерпретацию контрактов, и точность, которую вы измеряли при запуске, больше не описывает происходящее.

Деградирует и ваш контент. Поиск, работавший с 400 документами, становится менее точным при работе с 4000, так как больше близких совпадений вытесняют правильный ответ из результатов.

Все это проходит незаметно. Оно проявляется через несколько месяцев в виде растущих эскалаций, падении использования или жалобе от клиента, который действовал на основе того, что сказала система. К тому времени исправление будет стоить дороже мониторинга.

Защита от этого недорогая и простая: выбирайте 50–100 реальных взаимодействий в месяц, оценивайте их по сравнению с тем, что сказал бы хороший сотрудник, и отслеживайте этот показатель со временем. Один человек, полдня в месяц — это все, что требуется для выявления почти всех вышеупомянутых режимов отказа.

Бюджет, который выдерживает контакт с реальностью

Планируйте ежегодные операционные расходы на уровне 30–50% от стоимости разработки за первые два года. Меньше 20% означает, что система пренебрегается, и кривая качества это покажет. Более 60% указывает либо на то, что разработка оставила много незавершенных задач, либо на то, что бизнес-случай использования более волатилен, чем казалось изначально.

Разделите эту сумму на три категории: использование (плата за модель и инфраструктуру, масштабирование по объему), обслуживание (проверка, мониторинг, ведение записей — примерно фиксированная сумма) и изменения (адаптация к вашему бизнесу и дорожной карте поставщика). Категории ведут себя по-разному, поэтому единое смешанное значение может ввести вас в заблуждение при первом удвоении объема.

Затем назначьте ответственного. Система искусственного интеллекта без назначенного владельца и постоянной бюджетной строки не будет обслуживаться; она просто будет терпимо существовать. Это настоящая стоимость пропуска этого этапа — не чрезмерные расходы, а оплата разработки дважды.

Работайте с текущей ставкой до начала разработки, а не после. Число часто меняет то, что вы решаете построить, и именно для этого оно и предназначено. Это первый расчет, который мы проводим с клиентами, и иногда он приводит к рекомендации создать меньшую систему, чем та, которую они изначально запрашивали.