Sự Nâng Cấp Bạn Không Yêu Cầu
Cập nhật mô hình có thể làm hỏng một hệ thống AI hoạt động tốt. Đây là cách để phát hiện sự suy giảm trước khi khách hàng báo cáo.
Khi nâng cấp mô hình gây ra sự cố
Hệ thống AI của bạn đã hoạt động vào thứ Sáu. Vào thứ Hai, nó vẫn trả lời, phản hồi trong vòng hai giây, và vượt qua mọi kiểm tra sức khỏe trên bảng điều khiển. Tuy nhiên, câu trả lời có chút khác biệt - dài hơn, thận trọng hơn, định dạng khiến trình phân tích xuống dòng hoặc chắc chắn sai về một chính sách trước đây nó đã đúng.
Không có gì thất bại. Nhà cung cấp của bạn đã giao một bản nâng cấp mô hình.
Đây là cách thức thất bại khiến các đội lãnh đạo bị bất ngờ nhất vì nó không giống như sự cố nào cả. Không có đèn đỏ. Hệ thống tự báo cáo tình trạng khỏe mạnh trong khi chất lượng đầu ra đã thay đổi dưới mắt bạn. Khách hàng của bạn nhận thấy điều này trước khi hệ thống giám sát.
Tại sao nâng cấp lại khiến những thứ hoạt động bị hỏng?
Một mô hình mới tốt hơn trung bình và khác biệt cụ thể. Nhà cung cấp tối ưu hóa dựa trên các chỉ số tổng hợp; bạn triển khai chống lại một mảnh nhỏ của thực tế. Khi mô hình thay đổi, hành vi mà bạn đã điều chỉnh xung quanh cũng thay đổi - cách thức bạn sử dụng câu trong lời nhắc, cấu trúc JSON mà tích hợp của bạn mong đợi, giới hạn từ chối mà nhóm tuân thủ đã phê duyệt, hoặc độ dài phù hợp với giao diện người dùng.
Bản nâng cấp đến theo ba cách. Nhà cung cấp ngừng sử dụng một phiên bản mô hình và di chuyển bạn sang đó. Bạn sử dụng một alias nổi trôi được giải quyết im lặng về phiên bản mới nhất. Hoặc bạn nâng cấp chủ động để giảm chi phí hoặc độ trễ và giả định chất lượng sẽ chỉ cải thiện. Tất cả đều dẫn đến cùng kết quả: hành vi thay đổi, và không ai đo lường những gì đã thay đổi.
Xây dựng thứ giúp bạn biết điều gì đã thay đổi
Điều kiểm soát duy nhất quan trọng là một tập hợp các trường hợp thử nghiệm với câu trả lời tốt - một tập "vàng". 200 ví dụ thực tế từ lưu lượng truy cập thực của bạn, bao gồm các trường hợp phổ biến, trường hợp ngoại vi và những tình huống mà sai sót có giá trị cao. Mỗi ví dụ có câu trả lời mà doanh nghiệp của bạn coi là chính xác.
Chạy tập này qua mô hình hiện tại và ghi lại kết quả. Tập ghi âm đó là điểm chuẩn của bạn. Khi một mô hình mới xuất hiện, chạy tập cùng một lần nữa và so sánh. So sánh toàn bộ sản phẩm - bạn giờ đây có bằng chứng thay vì cảm nhận.
Việc xây dựng điều này mất vài ngày và yêu cầu các kỹ thuật viên của bạn, không phải kỹ sư, xác định điều gì là "đúng". Hầu hết các tổ chức bỏ qua nó vì cảm thấy như một gánh nặng trước khi ra mắt. Đây là bảo hiểm rẻ nhất cho toàn bộ hệ thống.
Kiểm soát thời điểm thay đổi đến với bạn
Đặt phiên bản mô hình cụ thể trong mọi cấu hình sản xuất. Một phiên bản được gắn chặt biến một cuộc tấn công thành quyết định có lịch trình. Sau đó, đối xử với mỗi nâng cấp như một dự án nhỏ:
- Chạy tập "vàng" qua phiên bản mới và so sánh từng trường hợp với điểm chuẩn, không chỉ những trường hợp xấu hơn - các cải tiến cũng có thể làm hỏng hệ thống bên dưới.
- Yêu cầu chủ sở hữu kinh doanh xem xét mọi trường hợp câu trả lời thay đổi, không chỉ những trường hợp xấu đi - việc này giúp bạn nhận ra những vấn đề tiềm ẩn.
- Gửi một phần nhỏ lưu lượng truy cập trực tiếp đến phiên bản mới và theo dõi các tín hiệu hoạt động: tỷ lệ gia tăng, thời gian xử lý trung bình, số lần nhân viên chỉnh sửa hệ thống trước khi gửi, hoặc nhấp chuột "thích" giảm.
- Giữ phiên bản cũ khả dụng trong một khoảng thời gian đảo ngược và biết ai có quyền kéo công tắc.
- Ghi lại quyết định, ngày tháng và bằng chứng, để nâng cấp tiếp theo bắt đầu từ trạng thái đã biết.
Điều không có trong danh sách này là một buổi trình diễn. Xem một mô hình mới trả lời ấn tượng 5 câu hỏi không cho bạn bất kỳ thông tin nào về 20% lưu lượng truy cập của bạn, đó chính là nguồn phàn nàn của bạn.
Theo dõi các tín hiệu mà doanh nghiệp của bạn đã tạo ra
Giữa các nâng cấp, sự suy giảm chất lượng sẽ xuất hiện trong các con số bạn có thể đã thu thập. Sự gia tăng các vụ báo cáo, thời gian xử lý trung bình, tần suất nhân viên chỉnh sửa hệ thống trước khi gửi, hoặc liên tiếp gặp vấn đề trong cùng một vấn đề trong tuần. Bất kỳ thay đổi nào từ 3-4 điểm trong hai tuần đáng để xem xét những gì đã thay đổi ở lớp mô hình.
Giao cho một người duy nhất nhiệm vụ thường xuyên (mỗi tuần) xem xét các con số này so với phiên bản mô hình đang hoạt động. Không phải là một ủy ban, cũng không phải là một đánh giá hàng quý. Một chủ sở hữu được chỉ định và kiểm tra nhanh 15 phút.
Ghi vào hợp đồng
Yêu cầu nhà cung cấp thông báo bằng văn bản trước khi ngừng sử dụng một phiên bản nào đó, ghi lại thời gian tối thiểu hỗ trợ cho các phiên bản được gắn chặt và quyền truy cập vào phiên bản trước đó trong quá trình di chuyển. Các nhà cung cấp phục vụ các ngành công nghiệp điều tiết thường cung cấp những điều này. Những người không làm sẽ nói với bạn - và câu trả lời đó hữu ích trước khi xây dựng trên họ thay vì sau đó.
Vị trí trung thực
Bạn không thể ngăn nhà cung cấp của mình cải thiện mô hình, và bạn cũng không muốn làm thế. Điều bạn có thể làm là đảm bảo sự cải tiến diễn ra theo điều khoản của bạn: được đo lường, từng giai đoạn, có thể đảo ngược và do một ai đó chịu trách nhiệm.
Đó là trọng trách không hào nhoáng của việc vận hành AI thay vì chỉ thử nghiệm - và nó là phần chúng tôi thực hiện cho các khách hàng muốn tập trung vào kinh doanh của họ thay vì điều này. Dù cách nào đi chăng nữa, hãy xây dựng tập "vàng". Mọi thứ khác phụ thuộc vào nó.