Sau khi xây dựng: Chi phí thực sự để vận hành một hệ thống AI

Hóa đơn AI: Những điều bạn cần biết

Hầu hết ngân sách dành cho AI thường dừng lại ở giai đoạn ra mắt sản phẩm. Đề xuất của chúng tôi bao gồm các giai đoạn khám phá, xây dựng, tích hợp và ngày đi vào hoạt động. Sau đó, hệ thống vận hành trong hai năm, nhưng chi phí thực tế trong thời gian này thường không được ghi chép cẩn thận. Dưới đây là những gì thực sự xuất hiện trên hóa đơn của bạn.

Phần thanh toán theo mô hình:

Phí mô hình tính theo token - gần như tính theo từ vào và ra. Nếu bạn làm toán một lần, nó sẽ trở nên dễ đoán.

Giả sử bạn có một trợ lý hỗ trợ nội bộ xử lý 8.000 cuộc trò chuyện mỗi tháng, với sáu lượt tương tác. Điều này tạo ra 48.000 cuộc gọi đến mô hình, mỗi cuộc gọi bao gồm hướng dẫn của bạn, tài liệu được truy xuất và lịch sử cuộc trò chuyện cho đến lúc đó - khoảng 5.000 token vào - và trả về khoảng 400 token ra. Bạn đang mua 240 triệu token đầu vào và 19 triệu token đầu ra mỗi tháng. Với mức giá trung bình của mô hình, chi phí sẽ khoảng 1.000 USD mỗi tháng, và việc lưu trữ tạm thời các lời nhắc có thể giảm đáng kể chi phí này.

Hai điều bất ngờ người ta thường gặp:

Token đầu vào chiếm phần lớn: Bạn trả tiền cho mọi thứ bạn gửi đi, mỗi lượt tương tác, và dài ngữ cảnh là đòn bẩy chi phí chính mà bạn có thể kiểm soát.
Lặp lại, chạy đánh giá và thử nghiệm nội bộ: Những yếu tố này tăng thêm 15-30% so với lưu lượng sản xuất. Lập ngân sách dựa trên số liệu thô, không phải số liệu sạch sẽ.

Giá mô hình tính theo token đã giảm liên tục. Tổng chi phí thường tăng lên bất kể việc sử dụng tăng hay các mô hình mới được sử dụng cho những nhiệm vụ khó khăn hơn. Lập kế hoạch dựa trên khối lượng, không phải tỷ lệ.

Những khoản phí không xuất hiện trong đề xuất:

Phí mô hình hiếm khi là mục lớn nhất. Phần còn lại của chi phí hoạt động thường đến từ công việc vận hành thông thường mà hệ thống AI cần nhiều hơn:

Đánh giá con người: Mỗi tuần, ai đó đọc một mẫu đầu ra thực tế và quyết định xem chất lượng có duy trì được không. Đối với hệ thống tiếp xúc trực tiếp với khách hàng, giả sử khoảng vài giờ mỗi tuần, vĩnh viễn.
Cơ sở hạ tầng xung quanh mô hình: Chỉ mục tìm kiếm, kho lưu trữ vector, ghi nhật ký và đường ống giữ cho tài liệu của bạn luôn cập nhật. Mặc dù nhỏ từng phần, chúng cộng lại thành một khoản chi phí cố định.
Công việc thay đổi: Sản phẩm mới, chính sách mới, trường hợp biên mới mà hệ thống xử lý không tốt. Hãy mong đợi một dòng nhỏ nhưng liên tục các điều chỉnh thay vì những bản phát hành lớn bất ngờ.
Thay đổi nhà cung cấp: Mô hình bị lỗi theo lịch trình công bố. Di chuyển sang mô hình kế nhiệm có nghĩa là phải kiểm tra lại mọi thứ mà mô hình cũ làm tốt, thường là một lần mỗi năm.
Tuân thủ và hồ sơ: Lưu trữ, kiểm soát truy cập và nhật ký kiểm toán để chứng minh hệ thống đã nói gì với khách hàng vào tháng 3.

Sự trôi dạt là khoản chi phí bất ngờ:

Phần mềm thất bại một cách rõ ràng. Hệ thống AI suy giảm một cách lặng lẽ và tự tin trong suốt quá trình.

Đầu tiên, doanh nghiệp của bạn trôi dạt. Giá cả thay đổi, sản phẩm bị ngừng, chính sách được sửa đổi. Hệ thống tiếp tục trả lời dựa trên phiên bản nó đã nhận, trôi chảy nhưng sai lệch, cho đến khi ai đó để ý.

Tiếp theo là người dùng của bạn. Khi họ quen với cách hệ thống xử lý một loại truy vấn cụ thể, họ sẽ đẩy vào những vùng lân cận chưa từng được quy định. Giao dịch trông giống như trả lời câu hỏi thường gặp trở thành việc giải thích hợp đồng, và độ chính xác bạn đã đo lường khi ra mắt không còn áp dụng nữa.

Nội dung của bạn cũng trôi dạt. Truy vấn tìm kiếm có hiệu quả trên 400 tài liệu sẽ mờ nhạt hơn trên 4.000 tài liệu vì nhiều kết quả gần giống nhau chen lấn kết quả chính xác.

Không có cảnh báo nào về những điều này. Chúng xuất hiện vài tháng sau dưới dạng tăng escalations, giảm sử dụng hoặc khiếu nại từ khách hàng đã hành động dựa trên điều hệ thống nói. Khi đó sửa chữa sẽ tốn nhiều hơn giám sát có thể ngăn chặn.

Phương pháp phòng thủ đơn giản và rẻ tiền là lấy mẫu 50-100 tương tác thực tế mỗi tháng, đánh giá chúng so với những gì một nhân viên giỏi sẽ nói, và theo dõi điểm số này theo thời gian. Một người chỉ cần dành nửa ngày mỗi tháng để làm việc này. Thói quen đơn giản này bắt gần như mọi chế độ thất bại nêu trên ngay khi chúng mới xuất hiện mà không tốn nhiều chi phí.

Lập ngân sách AI bền vững:

Lập kế hoạch chi phí hoạt động hàng năm chiếm 30-50% chi phí xây dựng trong hai năm đầu tiên. Dưới 20%, hệ thống bị bỏ rơi và đường cong chất lượng sẽ phản ánh điều đó. Trên 60%, hoặc xây dựng để lại quá nhiều việc chưa hoàn thành, hoặc trường hợp sử dụng thực tế biến động lớn hơn dự kiến.

Chia số tiền này thành ba phần: chi phí sử dụng (phí mô hình và cơ sở hạ tầng, tăng theo khối lượng), chi phí quản lý (đánh giá, giám sát, hồ sơ - gần như cố định) và chi phí thay đổi (cập nhật cho doanh nghiệp và lộ trình của nhà cung cấp). Ba phần này có hành vi khác nhau, vì vậy một con số tổng hợp duy nhất sẽ đánh lừa bạn khi khối lượng tăng gấp đôi.

Sau đó, chỉ định một người chủ sở hữu. Một hệ thống AI không có người chủ sở hữu được chỉ định và dòng ngân sách dành riêng sẽ không được bảo trì; nó chỉ được dung túng cho đến khi bị bỏ rơi thầm lặng. Đó là chi phí thực sự của việc bỏ qua quá trình này - không phải là chi tiêu quá mức, mà là trả tiền hai lần cho một xây dựng.

Tính toán tỷ lệ sử dụng trước khi xây dựng, chứ không phải sau đó. Con số này thường ảnh hưởng đến quyết định xây dựng ban đầu, và đó chính xác là mục đích của nó. Đây là phép tính đầu tiên chúng tôi thực hiện với khách hàng, và đôi khi nó khiến chúng tôi khuyên nên xây dựng một hệ thống nhỏ hơn so với những gì họ ban đầu yêu cầu.