Làm thế nào để đo lường xem một dự án AI thực sự hoạt động hay không?
Một khung thực tiễn để đánh giá các dự án AI dựa trên kết quả kinh doanh - các điểm chuẩn, chỉ số thực tế, chi phí đầy đủ và những điều cần theo dõi sau khi ra mắt.
Đo lường hiệu quả dự án trí tuệ nhân tạo (AI)
Hầu hết các dự án AI kết thúc bằng một buổi trình diễn và những tràng pháo tay. Tuy nhiên, ít dự án nào lại kết thúc bằng một con số cụ thể. Sau sáu tháng, không ai có thể chắc chắn liệu hệ thống có tiết kiệm chi phí, thu hút khách hàng, hay chỉ đơn giản là thêm một công cụ mới vào quy trình duy trì. Vấn đề thường không nằm ở công nghệ, mà là thiếu định nghĩa rõ ràng về thành công trước khi bắt đầu dự án.
Xác định "thành công" ngay từ đầu
Dự án AI thành công khi nó thay đổi một con số kinh doanh quan trọng mà bạn đã quan tâm. Không phải là độ chính xác, chất lượng phản hồi, hay "sự chấp nhận" trừu tượng. Mà là một con số cụ thể: giờ lao động thủ công được tiết kiệm, ngày trong quy trình được rút ngắn, tỷ lệ lỗi trong hóa đơn, chi phí mỗi vé xử lý, hoặc doanh thu trên mỗi đại diện.
Ghi rõ con số này và mục tiêu trước khi dự án bắt đầu, cùng với những tuyên bố có thể kiểm chứng được. "Hệ thống sẽ giảm thời gian chuẩn bị báo giá từ ba ngày xuống còn một ngày" là một yêu sách bạn có thể xác minh. Trong khi đó, "hệ thống sẽ cải thiện hiệu quả" chỉ là một tuyên bố bạn có thể đồng tình. Nếu nhóm không nêu rõ con số mà dự án cần đạt được, thì dự án chưa sẵn sàng để đầu tư.
Đo lường cơ sở trước khi triển khai
Bạn không thể chứng minh sự cải thiện nếu không ghi lại cơ sở ban đầu. Trước khi hệ thống đi vào hoạt động, dành một tuần hoặc hai tuần để thu thập cách quy trình hoạt động hiện tại: thời gian thực hiện nhiệm vụ, tần suất xảy ra lỗi, chi phí, và ai xử lý chúng. Đây là công việc nhàm chán và thường bị bỏ qua nhất trong quá trình áp dụng AI.
Cơ sở không cần phải hoàn hảo. Mười ví dụ được đo thời gian về quy trình hiện tại vẫn tốt hơn là không có gì. Nếu không ghi lại cơ sở, mọi cuộc thảo luận sau này về giá trị sẽ trở thành sự đối đầu giữa ý kiến chủ quan.
Đánh giá kết quả thay vì hiệu suất mô hình
Các nhóm kỹ thuật sẽ báo cáo các chỉ số kỹ thuật - độ chính xác, thời gian trễ, điểm số so sánh. Những chỉ số này quan trọng với họ và không nên quá quan trọng với bạn. Một mô hình có thể đạt 95% độ chính xác nhưng vẫn thất bại như một dự án vì những trường hợp sai 5% ảnh hưởng đến khách hàng quan trọng nhất, hoặc nhân viên đơn giản ngừng sử dụng nó vào tháng Ba.
Các chỉ số đáng xem xét ở cấp lãnh đạo bao gồm:
- Kết quả: công việc có được nhanh hơn, rẻ hơn, hay tốt hơn so với cơ sở không?
- Sự chấp nhận: phần trăm công việc đủ điều kiện thực sự đi qua hệ thống, và liệu tỷ lệ này có tăng hay giảm không?
- ngoại lệ: thường xuyên con người phải can thiệp, sửa chữa, hoặc thay đổi - và những trường hợp này có trở nên hiếm hơn không?
- Tin tưởng: những người sử dụng nó có phản đối việc mất nó không?
Số liệu về sự chấp nhận đáng được chú ý đặc biệt. Một hệ thống chỉ xử lý 8% các trường hợp đủ điều kiện đã không thành công, bất kể độ chính xác của nó. Sự giảm sử dụng là tín hiệu trung thực sớm nhất cho thấy có vấn đề, và nó xuất hiện trước khi ai đó nộp đơn khiếu nại.
Tính toàn bộ chi phí
Chi phí xây dựng là phần dễ thấy nhất. Chi phí thực tế bao gồm các chi phí liên tục: phí đăng ký và tính toán, thời gian nhân viên xem xét kết quả, bảo trì khi nhà cung cấp thay đổi API hoặc quy trình hệ thống được xây dựng xung quanh thay đổi. Một dự án tiết kiệm 20 giờ mỗi tuần nhưng tiêu tốn 10 giờ cho việc xem xét và bảo trì có lợi nhuận thực tế chỉ bằng một nửa lợi nhuận trên báo cáo.
Đặt một cuộc họp đánh giá vào ba và sáu tháng sau khi ra mắt và so sánh chi phí hoạt động toàn diện với kết quả được đo lường. Nhiều dự án trông có vẻ không khả thi tại thời điểm khởi động đã trở nên rõ ràng tích cực vào tháng sáu; một số dự án trình diễn xuất sắc lại chứng minh là tiêu cực. Bạn muốn biết loại dự án nào bạn có trong khi vẫn còn thời gian để sửa chữa hoặc dừng nó.
Chú ý đến sự suy giảm
Hệ thống AI không phải là cây cầu; nó không giữ được mãi. Dữ liệu thay đổi, doanh nghiệp thay đổi, mô hình đằng sau một API thay đổi mà không báo trước. Một hệ thống hoạt động tốt vào tháng Một có thể dần trôi qua vào tháng Bảy, và vì các kết quả vẫn trông hợp lý, không ai nhận ra cho đến khi khách hàng phàn nàn.
Giải pháp đơn giản là duy trì một tập nhỏ các trường hợp được biết với câu trả lời đúng, và chạy chúng qua hệ thống hàng tháng. Nếu kết quả thay đổi, bạn phát hiện ra từ những kiểm tra của chính mình thay vì từ thị trường. Giao nhiệm vụ này cho một người cụ thể. Sự suy giảm không ai chịu trách nhiệm sẽ không bao giờ được phát hiện.
Kiểm tra một trang
Nếu một dự án AI thành công, bạn nên có thể tóm tắt nó trong một trang: cơ sở, mục tiêu, kết quả đo lường, chi phí toàn diện, và xu hướng kể từ khi ra mắt. Nếu trang này không thể viết được, kết luận trung thực là không phải dự án thất bại - mà là không ai có thể nói rõ điều đó cho doanh nghiệp.
Khả năng đo lường này nặng hơn nhiều so với hầu hết các nhóm mong đợi, nhưng chính là trọng lượng đáng mang - nó là điều phân biệt AI trình diễn tốt với AI trả tiền. Đây cũng là phần của quá trình áp dụng mà Hercules A xây dựng từ đầu, vì vậy câu hỏi "có thành công không?" luôn có một câu trả lời cụ thể.