빌드 후의 청구서: 인공지능 시스템을 실제로 운영하는 비용은 얼마인가?

AI 예산 계획: 비용의 진실

대부분의 AI 예산은 출시와 함께 끝납니다. 제안서에는 발견, 구축, 통합 및 출시 날짜가 포함됩니다. 그 후 시스템은 2년 동안 실행되고, 그 기간 동안의 비용은 아무도 기록하지 않습니다. 실제로는 다음과 같은 항목들이 청구서에 포함됩니다.

모델 요금: 계산 가능한 부분

모델 요금은 토큰 기준으로 책정되며, 대략 단어 입력과 출력 단어로 계산됩니다. 한 번 수학 계산을 하면 예측이 가능해집니다.

내부 지원 보조원이 매월 8,000건의 대화를 처리한다고 가정해 봅시다. 각 대화는 6회로 구성되며, 이는 48,000회 모델 호출에 해당합니다. 각 호출은 당신의 지침, 검색된 문서 및 대화 내용을 포함하며, 대략 5,000개의 토큰을 입력하고 약 400개의 토큰을 출력합니다. 매월 2억 4천만 개의 입력 토큰과 1천 9백만 개의 출력 토큰을 구매하게 됩니다. 중급 모델의 가격으로 매월 약 1,000달러가 소요되며, 반복되는 지침에 대한 프롬프트 캐싱은 비용을 크게 절감할 수 있습니다.

사람들을 놀라게 하는 두 가지 사항이 있습니다. 첫째, 입력이 지배적입니다: 모든 전송된 내용에 대해 지불하며, 긴 컨텍스트는 당신이 제어할 수 있는 주요 비용 조절 요소입니다. 둘째, 재시도, 평가 실행 및 내부 테스트는 생산 트래픽보다 15~30% 더 많은 비용을 발생시킵니다. 전체 숫자를 계획할 때 깨끗한 숫자가 아닌 총액을 고려하세요.

모델 토큰당 가격은 일관되게 하락해 왔습니다. 총 지출이 증가하는 것은 사용량 성장과 새로운 모델의 도입으로 인해 더 어려운 작업에 사용되기 때문입니다. 볼륨, 아니 요율에 초점을 맞추세요.

제안서에 포함되지 않은 비용

모델 요금은 일반적으로 전체 실행 비용에서 가장 큰 항목이 아닙니다. 나머지 실행 비용은 AI 시스템이 필요로 하는 일반적인 운영 업무와 관련이 있습니다:

• 인간 검토: 매주 샘플 출력을 읽는 사람은 항상 필요합니다. 고객을 직접 대하는 시스템의 경우, 몇 시간의 주당 작업이 예상됩니다.
• 모델 주변 인프라: 검색 인덱스, 벡터 저장소, 로깅 및 문서 업데이트를 위한 파이프라인 등. 개별적으로는 소규모이지만, 합치면 상당한 비용을 발생시킵니다.
• 변경 작업: 새로운 제품, 새로운 정책, 시스템이 잘 처리하지 못하는 새로운 에지 케이스. 작은 꾸준한 조정보다는 간헐적인 큰 업데이트를 기대하세요.
• 벤더 변경: 모델은 발표 일정에 따라 퇴출됩니다. 후속 모델로 마이그레이션하면 이전 모델이 잘 처리했던 모든 것을 재테스트해야 합니다. 일반적으로 매년 한 번씩 발생합니다.
• 준수 및 기록: 보유, 접근 제어 및 3월에 고객에게 제공한 시스템의 감사 추적 등.

드리프트: 놀라운 비용 항목

소프트웨어는 큰 소리로 실패하지만, AI 시스템은 조용히 악화됩니다. 그들은 자신감 있게 전체 과정을 진행합니다.

먼저 당신의 비즈니스가 드리프트됩니다. 가격이 변경되고, 제품이 퇴출되고, 정책이 수정됩니다. 시스템은 오래된 버전으로 계속 답변을 제공하며, 누군가 이를 알아차릴 때까지요.

그 다음에는 사용자들이 드리프트됩니다. 사용자들이 시스템의 기능에 익숙해지면, 인접한 영역으로 확장합니다. FAQ 대답과 계약 해석은 초기 범위를 넘어서는 일반적인 사례입니다. 출시 시 측정했던 정확도는 더 이상 해당되지 않습니다.

콘텐츠도 드리프트됩니다. 400개의 문서에서 검색이 가능했던 것이 4,000개로 증가하면서, 가장 가까운 일치문이 올바른 답변을 밀어낼 수 있습니다.

이 모든 것은 경고 신호를 보내지 않습니다. 몇 달 후에 상승하는 지원 요청, 감소하는 사용량 또는 고객의 불만이 발생합니다. 그 시점에서 해결 비용은 모니터링에 소요되는 비용보다 훨씬 더 높을 것입니다.

저렴하고 평범한 방어 전략은 매월 50~100개의 실제 상호작용 샘플을 수집하고, 좋은 직원이 말했더라면 어떻게 했을지 평가하며, 점수를 추적하는 것입니다. 한 사람이 매월 반일 동안 이 작업을 수행하면 대부분의 위에서 언급된 실패 모드들을 조기에 포착할 수 있습니다.

현실과 마주한 예산 계획

첫 2년 동안 연간 실행 비용을 모델 구축 비용의 30~50%로 계획하세요. 20% 미만인 경우 시스템이 방치되고 있으며, 품질 곡선은 이를 반영할 것입니다. 60%를 초과하는 경우, 구축 과정에서 미완성 작업이 있거나 사용 사례가 처음 예상했던 것보다 더 변동성이 있음을 의미합니다.

그 금액을 세 가지 항목으로 나누세요: 사용량(모델 요금 및 인프라), 관리(검토, 모니터링, 기록), 변경(당신의 비즈니스 및 벤더 로드맵에 적응). 버킷은 서로 다르게 행동하므로, 양이 갑자기 두 배가 될 때 발생하는 영향을 정확히 파악할 수 있습니다.

그런 다음 소유자를 지정하세요. AI 시스템에 대한 소유자가 없거나 정기적인 예산선이 없는 경우, 유지보수가 이루어지지 않고 결국 은근히 방치될 수 있습니다. 이는 두 번째 번이 아닌 첫 번째 비용입니다.

구축 전에 실행률을 계산하세요. 이 숫자는 종종 당신이 구축할 시스템을 결정하며, 이것이 바로 우리가 고객과 하는 첫 번째 계산입니다. 때로는 클라이언트가 처음 요청했던 시스템보다 더 작아지는 경우도 있습니다.