人工智能预算的现实考验
大多数 AI 项目的预算在启动时就停止了。提案应涵盖发现、构建、集成和上线日期等内容。然后系统运行两年，却没有人记录下这两年的成本。以下是实际出现在账单上的费用。
可计算的模型账单
模型费用按令牌计费，大致每字入每字出。一旦进行计算，这些费用就变得可预测了。
假设一个内部支持助手每月处理 8,000 次对话，每次六轮。这意味着 48,000 次模型调用。每次调用包含您的指令、检索文档和对话记录（约 5,000 个令牌），返回大约 400 个令牌。每月购买 2.4 亿个输入令牌和 1.9 万个输出令牌。在中级模型定价下，这将产生每月约 1,000 美元的费用，而针对重复指令的提示缓存可以显著降低成本。
有两个方面让人们感到惊讶。首先，输入占主导地位：您为每次发送的所有内容付费，每轮对话，而长上下文是您控制的主要成本因素。其次，重试、评估运行和内部测试在生产流量上增加 15-30%。预算总量，而不是清洁数量。
模型按令牌定价已持续下降。总支出通常会上升，因为使用量增长，更复杂的模型用于更艰巨的任务。计划根据体积，而不是费率。
提案中未提及的账单
模型费用通常不是最大的项目。运行成本的其他部分是人工智能系统需要的常规运营工作：
- 人类审查：每周对真实输出样本进行阅读，并判断其质量是否保持稳定。对于面向客户的系统，假设每周几小时，永久性存在。
- 模型相关基础设施：搜索索引、向量存储、日志记录和保持文档最新的管道。单独看每项都相当小，但总量却是恒定的。
- 变更工作：新产品、新政策和新边缘案例系统处理不当。预期会出现一小流持续调整，而不是偶尔有重大发布。
- 供应商变更：模型在公布的时间表上过时。迁移到继任者意味着重新测试旧模型做得好的所有内容，通常每年一次。
- 合规和记录：保留、访问控制和证明系统在 3 月向客户说了什么的审计跟踪。
让人惊讶的“漂移”
软件会发出响亮的故障信号。人工智能系统却会安静地退化，直到某人注意到为止。
首先是您的业务漂移。价格变化、产品退役、政策重写。系统继续根据给定的版本流利且错误地回答问题，直到有人发现。
然后是用户漂移。一旦人们了解了系统的处理范围，他们就会进入系统从未被设计过的相邻领域。看起来像问答的流量变成合同解释，而启动时测量的准确性不再适用于正在发生的事情。
您的内容也漂移。从 400 个文档中检索的结果变得模糊不清，因为更多接近正确答案的数据压倒了正确答案。
所有这些都不会触发警报。它们会在几个月后以上升的紧急情况、下降的使用量或一位基于系统说的话向客户采取行动的投诉而显现。到那时修复成本会更高。
防御策略很简单且便宜：每月采样 50-100 次真实交互，将其与一个优秀员工可能说的话进行比较，并跟踪分数随时间变化。一个人半天工作一次完全足够，可以捕捉上述几乎所有失败模式，而它们还在初期阶段。
能经受现实考验的预算
第一两年运行成本应占构建成本的 30-50%。低于 20%，系统被忽视了，质量曲线会反映出这种情况。高于 60%，要么构建时留下太多未完成的工作，要么使用案例比看起来更不稳定。
将这个数字分为三个桶：使用（模型费用和基础设施、根据体积扩展）、保管（审查、监控和记录——大致固定）和变更（适应您的业务和供应商路线图）。这些桶的行为不同，因此单个混合数字在体积翻倍时可能会误导您。
然后指定一个所有者。没有指定所有者和定期预算线的 AI 系统不会得到维护；它会被容忍到被悄悄放弃为止。这是跳过这项工作实际成本——不是超支，而是支付两次构建费用。
在构建前计算运行率，而不是之后。这个数字经常影响您决定构建的项目，这正是它的作用。它是我们与客户进行的第一项计算，有时也是我们建议构建一个比他们最初要求的更小的系统的原因。