Con người trong vòng lặp, không có kịch tính
Một hướng dẫn thực tế về nơi mà đánh giá của con người thuộc vào trong quy trình AI, cách thiết kế các điểm kiểm tra và cách giữ cho chúng không trở thành một con dấu gôm.
Đặt con người vào vị trí có chi phí
Không phải mọi đầu ra của AI đều cần xem xét, và việc xem xét tất cả chúng đảm bảo rằng không có sự chú ý thực sự nào dành cho chúng. Câu hỏi hữu ích không phải là "điều này có quan trọng không" mà là "một sai lầm sẽ tốn bao nhiêu tiền và chúng ta có thể khắc phục nó như thế nào."
Một mô hình tạo bản ghi chép cho cuộc họp nội bộ có thể hoạt động tự động; một ghi chú xấu rẻ và rõ ràng. Nhưng đối với một mô hình thiết lập số tiền hoàn trả cho khách hàng, điền đơn đăng ký quy định hoặc gửi email cho khách hàng, cần có một điểm kiểm tra vì sai lầm ở đây sẽ tốn kém và khó khắc phục. Phân loại các quyết định liên quan đến AI theo chi phí của việc mắc sai lầm và mức độ khó trong việc đảo ngược nó. Phần góc trên được dành cho con người. Phần còn lại chạy tự động với việc lấy mẫu.
Thiết kế quyết định, không phải cái nhìn thoáng qua
Một điểm kiểm tra chỉ hiệu quả nếu người xem xét có thể đưa ra phán quyết độc lập trong khoảng thời gian họ thực sự có. Điều đó có nghĩa là giao diện không chỉ hiển thị câu trả lời mà còn phải hiển thị lý do hoặc nguồn gốc - dòng hóa đơn mà số tiền đến từ, điều khoản chính sách mà quyết định trích dẫn.
- Hiển thị lý do hoặc nguồn gốc của mô hình thay vì chỉ hiển thị kết luận.
- Đánh dấu sự không chắc chắn của mô hình để các trường hợp có độ tin cậy thấp được xem xét kỹ hơn so với các trường hợp thường xuyên.
- Làm cho việc từ chối dễ dàng như việc phê duyệt, với yêu cầu lý do. Nếu "không" mất ba lần nhấp chuột và "có" chỉ mất một, bạn đã thiết kế một con dấu.
- Cung cấp cho người xem xét đủ bối cảnh để không đồng ý nhưng không quá nhiều đến mức mỗi trường hợp mất 20 phút. Điều chỉnh theo thời gian họ có cho mỗi mục.
Nếu một người xem xét không thể giải thích tại sao họ phê duyệt thứ gì đó, họ không thực sự xem xét nó. Họ chỉ chứng kiến nó.
Chú ý đến chế độ thất bại yên lặng
Cách dự đoán mà giám sát con người bị hỏng là thiên vị tự động hóa. Khi một mô hình đúng 95% thời gian, những người xem xét học cách tin tưởng nó và tỷ lệ phê duyệt của họ xu hướng tăng gần 100%. Những trường hợp 5% cần sự can thiệp của con người bị bỏ qua vì bắt lỗi trong số đó đòi hỏi phải luôn hoài nghi với một giả định mạnh mẽ rằng mọi thứ đều ổn.
Bạn không thể khắc phục điều này bằng lời nhắc nhở "luôn cảnh giác." Bạn có thể giải quyết nó bằng cấu trúc. Theo dõi tỷ lệ can thiệp của người xem xét theo thời gian - nếu nó giảm gần bằng không, hoặc mô hình đã cải thiện hoặc con người đã ngừng xem xét, và bạn cần biết điều gì. Định kỳ đưa vào các trường hợp xấu biết rõ và kiểm tra xem chúng có bị bắt hay không. Thay đổi những người xem xét trước khi họ bị mệt mỏi. Xem một điểm kiểm tra mà không bao giờ từ chối bất cứ điều gì như một điểm kiểm tra hỏng, không phải là thành công.
Giữ quyền lực thực sự
Một con người trong vòng lặp nhưng không có quyền dừng quy trình là trang trí. Người xem xét cần một "không" thực sự dừng luồng làm việc, chuyển trường hợp cho cấp cao hơn hoặc kích hoạt một con đường thủ công - và tổ chức phải chấp nhận rằng điều này đôi khi sẽ làm chậm tiến độ. Nếu lãnh đạo bí mật trừng phạt bất kỳ ai chặn luồng, người xem xét nhanh chóng hiểu được thông điệp và ngừng chặn. Sự giám sát bạn đã thiết kế tan biến, và bạn chỉ còn lại vẻ bề ngoài kiểm soát mà không có chất lượng thực sự.
Quyết định trước ai sở hữu kết quả khi con người phê duyệt một quyết định AI sai lầm. Nếu câu trả lời là "mô hình," bạn chưa đặt con người vào vòng lặp. Bạn đã tìm ai đó để đổ lỗi.
Lập kế hoạch cho vòng lặp thay đổi
Giám sát không phải là chi phí cố định bạn phải trả mãi mãi. Khi bạn thu thập dữ liệu về nơi mô hình đáng tin cậy và nơi nó không, bạn có thể loại bỏ những con người khỏi các trường hợp họ không bao giờ bắt được bất cứ điều gì và tập trung họ vào những nơi thực sự có can thiệp. Vòng lặp nên thắt chặt ở một số nơi và giữ nguyên ở những nơi khác theo thời gian. Điều đó chỉ hiệu quả nếu bạn đã đo lường tỷ lệ can thiệp và chi phí sai lầm từ đầu, thay vì xem "con người trong vòng lặp" như một hộp bạn đánh dấu khi khởi động.
Đây là phần không hấp dẫn của việc áp dụng AI - các điểm kiểm tra, hồ sơ kiểm toán, kế toán trung thực về chi phí của một câu trả lời sai. Đây cũng là nơi thực sự có giá trị và rủi ro. Tại Hercules A, đây là phần chúng tôi mang theo cho bạn: xây dựng giám sát vào hệ thống, không phải gắn một người xem xét vào cuối và gọi nó an toàn.