Ваше собственное оборудование или API другого человека: честные компромиссы по стоимости, контролю и конфиденциальности

Какой путь выбрать: API или собственное оборудование?

Каждая компания, серьезно относящаяся к искусственному интеллекту, сталкивается с одним и тем же разветвлением путей. Вы можете отправлять запросы провайдеру через API и платить по фактическому использованию или приобретать и управлять собственным оборудованием. Продавцы с обеих сторон скажут, что ответ очевиден. Он не так прост. Все зависит от объема использования, обработки данных и операционной нагрузки, которую вы можете выдержать.

Что подразумевают каждый из вариантов?

API: Провайдер запускает модель. Ваше программное обеспечение отправляет текст, провайдер возвращает ответ, и вы получаете счет на основе объема. Вы получаете наиболее мощные доступные модели, обновления приходят без ваших усилий, и вы можете начать использовать сервис уже сегодня.

Собственное оборудование: Вы покупаете или арендуете серверы с мощными графическими процессорами и запускаете на них открытые модели. Машины находятся в вашем офисе, дата-центре или частном облачном аккаунте, который вы контролируете. Ничто не выходит за пределы вашего периметра, если вы сами не отправите данные.

Стоимость: поворотный момент — объем использования

Ценообразование по API выглядит привлекательно, так как начинается с нуля. Пилотный проект, обрабатывающий несколько тысяч документов в месяц, стоит меньше командной встречи. Но это не длится долго. Стоимость растет линейно с использованием, поэтому система, переходящая от пилотного проекта к каждому отделу, может превратиться из незначительного расхода в реальную статью бюджета за квартал.

Собственное оборудование меняет ситуацию. Вы платите большую сумму авансом, а затем каждая дополнительная просьба обходится почти ничего. Стоимость машины остается одинаковой, независимо от того, обрабатывает ли она десять запросов или десять тысяч. Ее все равно будут нести расходы: электроэнергия, охлаждение, замена деталей и время, затрачиваемое на поддержание ее работоспособности. Это последний аспект, который большинство компаний недооценивают.

Честное правило: если ваше использование малое, непредсказуемое или еще экспериментальное, API дешевле. Если оно стабильное, высокомасштабное и встроенное в повседневную работу, собственное оборудование обычно окупается в течение одного-трех лет. Рассчитайте реальный ежемесячный объем использования перед подписанием договора. Большинство компаний ошибаются в обоих направлениях.

Контроль: кто решает, когда меняться?

Провайдер может отключить модель, на которой вы зависим, изменить ее поведение, повысить цены или ограничить скорость во время загруженной недели. Обычно они дают предварительное уведомление. Они не спрашивают вашего разрешения. Если рабочий процесс был настроен с учетом особенностей одной модели, принудительная обновление может незаметно нарушить его, и вы узнаете об этом, когда выходные данные начнут выглядеть неправильно.

На собственном оборудовании модель, которую вы тестировали, — это модель, на которой вы работаете столько, сколько хотите. Вы выбираете время для обновления, и можете сначала протестировать новую версию против старой. Эта стабильность особенно важна для процессов, которые подают контракты, отчеты о соблюдении требований или что-то, что регулятор может попросить вас объяснить.

Цена такого контроля — ответственность. Когда сервер выходит из строя в 3 часа ночи, никто другой не возьмет на себя телефон, чтобы вызвать специалиста.

Конфиденциальность: прочитайте контракт, а затем проанализируйте данные

Крупные провайдеры API предлагают условия для бизнеса, исключающие использование ваших данных для обучения моделей, и многие предлагают региональное присутствие данных. Для многих компаний это достаточно. Но "не используется для обучения" не то же самое, что "никогда не покидает ваше здание". Ваши данные все равно пересекают сеть, временно хранятся на инфраструктуре другого провайдера и подпадают под его политику хранения и юрисдикцию.

Для некоторых типов данных это приемлемо. Для конфиденциальных юридических документов, медицинских записей, нерепортированных финансовых отчетов или персональных данных, регулируемых строгими национальными правилами, это может быть недопустимо, независимо от того, что гласит контракт. Собственное оборудование устраняет необходимость в передаче и позволяет вам самостоятельно контролировать аудит.

Вопросы, определяющие выбор

Перед принятием решения получите четкие ответы на следующие вопросы:

Объем: Сколько запросов в месяц на данный момент и сколько будет в год при успешном проекте?
Сенситивность данных: Какие из ваших данных могут законно и контрактно покидать ваши системы?
Требования к мощности: Требует ли задача самой мощной модели на рынке или хорошей открытой модели подойдет?
Операционная мощность: Кто будет заниматься патчингом, мониторингом и ремонтом оборудования, и у них есть время?
Терпимость к изменениям: Что сломается, если модель под вашими ногами изменится без предупреждения?

Большинство компаний в конечном итоге используют оба варианта

Выбор редко сводится к черно-белому. Распространенная и разумная схема — выполнять на собственном оборудовании чувствительные, высокомасштабные и предсказуемые задачи и отправлять редкие сложные или экспериментальные запросы через API. Внутренний поиск документов по конфиденциальным файлам остается внутри компании. Однократный анализ рынка отправляется в аренду наиболее мощной доступной модели.

Начните с API, чтобы понять, что работает, и измерить фактическое использование. Перенесите рабочую нагрузку на собственное оборудование, как только цифры и правила обработки данных оправдают это. Именно так мы, Hercules A, определяем распределение задач и управляем внутренними системами, но приведенные выше рассуждения применимы к любому, кто выполняет работу. Принимайте решения исходя из вашего объема использования, конфиденциальности данных и операционной мощности, а не от того, какой провайдер говорил с вами последний раз.