Trợ lý AI của bạn cần một bộ ghi dữ liệu bay, và bạn xây dựng nó từ ngày đầu tiên.
Một nắm các bản ghi giúp bạn giải thích bất kỳ đầu ra nào của AI vài tháng sau đó, và phát hiện sự thay đổi chất lượng trước khi khách hàng làm điều đó.
Khi một hệ thống AI đạt đến giai đoạn sản xuất, câu hỏi đầu tiên không bao giờ là nó hoạt động như thế nào. Một khách hàng tranh chấp một báo giá. Một kiểm toán viên hỏi cách ra quyết định. Một thành viên trong nhóm nhận thấy tóm tắt đã xấu đi trong tháng này và không thể cho bạn biết khi bắt đầu.
Vào khoảnh khắc đó, bạn hoặc nắm giữ kỷ lục hoặc không, và bạn không thể tái tạo nó sau này. Việc đặt lại cùng một câu hỏi ngày hôm nay sẽ cho bạn câu trả lời ngày hôm nay từ mô hình ngày hôm nay, mẫu câu hỏi ngày hôm nay và dữ liệu ngày hôm nay. Điều đó không phải là bằng chứng của bất cứ điều gì.
Ghi nhật ký là quyết định ngay từ đầu. Thêm sau này chỉ bao gồm những gì xảy ra tiếp theo.
Sáu yếu tố tạo ra một câu trả lời
Một phản hồi AI là sản phẩm của một tập nhỏ các đầu vào. Ghi lại tất cả chúng, trên mỗi cuộc gọi, từ yêu cầu đầu tiên:
- Yêu cầu - một ID duy nhất, thời gian ghi, ai hoặc hệ thống đã đặt, và văn bản hoặc dữ liệu được gửi chính xác.
- Bối cảnh - mọi tài liệu, hồ sơ hoặc hàng mà hệ thống thu hồi và đặt trước mô hình, được xác định riêng lẻ, cùng với phiên bản của mỗi.
- Hướng dẫn - mẫu câu hỏi cộng với bất cứ thứ gì được lắp ráp tại thời gian chạy, và phiên bản của mẫu.
- Mô hình - chính xác mô hình nhận dạng, không phải tên gia đình, cùng với các cài đặt được sử dụng: nhiệt độ, giới hạn token, các công cụ nó có thể gọi.
- Đầu ra - phản hồi thô trước khi làm sạch, và phiên bản xử lý nếu hai khác nhau.
- Hậu quả - những gì xảy ra tiếp theo: hiển thị cho người dùng, gửi email cho khách hàng, được sử dụng để phê duyệt yêu cầu, và liệu một người có chấp nhận, chỉnh sửa hoặc từ chối nó hay không.
Bỏ qua bối cảnh và hướng dẫn và bạn chỉ còn lại một nửa cuộc hội thoại. Bạn có thể thấy hệ thống đã trả lời như thế nào và không thể thiết lập tại sao câu trả lời đó hợp lý.
Phiên bản là phần mọi người bỏ qua
Ba điều thay đổi dưới hệ thống AI mà không ai nộp yêu cầu thay đổi. Ai đó chỉnh sửa một mẫu câu hỏi vào thứ Ba chiều. Nhà cung cấp cập nhật mô hình sau cùng cùng tên API. Cơ sở kiến thức được tái chỉ mục và hệ thống bắt đầu thu hồi các tài liệu khác cho cùng một câu hỏi.
Mỗi điều đó có thể ảnh hưởng đến chất lượng, và không có điều gì xuất hiện trong nhật ký đầu ra. Ghi lại phiên bản nhận dạng cho mẫu câu hỏi, mô hình và chỉ mục dữ liệu trên mỗi cuộc gọi, và câu hỏi "những gì đã thay đổi giữa tuần tốt và tuần xấu" chỉ mất vài phút để trả lời. Không có chúng, nó sẽ mất một tuần suy đoán, thường là trong khi một người cao cấp chờ đợi.
Sửa chữa của con người là tín hiệu tốt nhất
Khi một người chỉnh sửa bản thảo AI trước khi gửi, họ đã nói chính xác những gì sai, bằng những điều khoản cụ thể nhất có sẵn. Lưu trữ bản gốc bên cạnh phiên bản đã chỉnh sửa.
Làm như vậy và hai điều sẽ xảy ra. Tỷ lệ chỉnh sửa trở thành một biện pháp chất lượng bạn có thể biểu đồ hàng tuần, và nó di chuyển trước khi khiếu nại. Và những sửa chữa tích lũy thành một tập các ví dụ bạn có thể sử dụng để cải thiện hệ thống, được xây dựng từ công việc của chính bạn thay vì mua hoặc phát minh ra.
Sự suy giảm là so sánh, không phải cảnh báo
Không có gì sẽ thông báo cho bạn rằng đầu ra đã xấu đi. Sự suy giảm là dần dần và mỗi câu trả lời cá nhân trông hợp lý.
Phương pháp thực tế là giữ một tập cố định các yêu cầu thực tế - 100 là đủ, được lấy từ lưu lượng giao thông thực tế và bao gồm các trường hợp khó khăn của bạn - và chạy lại chúng mỗi tháng. So sánh các câu trả lời mới với những câu đã lưu trữ. Ở đâu chúng khác nhau, một người đọc cả hai và nói câu nào tốt hơn. Điều này chỉ hoạt động nếu bạn giữ lại các đầu vào, đó là toàn bộ lập luận cho việc ghi nhật ký chúng.
Kết hợp điều đó với các con số bạn đã có: tỷ lệ chỉnh sửa, tỷ lệ từ chối, mức độ nâng cao lên một người, phần trăm câu trả lời nơi hệ thống không tìm thấy tài liệu liên quan. Một sự gia tăng trong trường hợp cuối cùng thường có nghĩa dữ liệu của bạn đã lỗi thời, không phải mô hình của bạn.
Quyết định về việc lưu trữ và xóa trước
Những nhật ký này chứa mọi thứ khách hàng nhập vào, điều đó có nghĩa chúng mang những nghĩa vụ tương tự như bất kỳ dữ liệu cá nhân nào khác. Phân loại các trường theo cách chúng được viết, che giấu hoặc mã hóa những gì không cần đọc rõ, và lưu trữ nhật ký riêng biệt với ứng dụng để một sự cố trong một không thể xóa lịch sử của nó đi cùng.
Thiết lập chính sách lưu trữ một cách có chủ ý. Đối với các quyết định có trọng lượng hợp đồng hoặc quy định, giữ hồ sơ trong thời gian phơi nhiễm kéo dài, và làm cho cửa hàng lưu trữ chỉ thêm để không ai có thể sửa đổi lịch sử một cách thầm lặng. Đối với lưu lượng giao thông thường xuyên, ngắn hơn là tốt hơn và rẻ hơn. Đặt tên cho chính sách của một người.
Lưu trữ là phần dễ dàng nhất. Chi phí thực tế là lắp đặt tất cả các ghi nhật ký này vào trong một hệ thống đang hoạt động trong khi bạn đã bị yêu cầu giải thích một đầu ra bạn không thể giải thích được. Chúng ta xây dựng những hồ sơ này từ đầu vì chúng là điều biến một hệ thống AI từ thứ bạn tin tưởng thành thứ bạn có thể chứng minh.