Demo luôn hoạt động: Cách phân biệt hệ thống AI thực sự với một hệ thống đã luyện tập

Mang đến đầu vào của chính bạn

Việc hữu ích nhất bạn có thể làm trong một cuộc họp với nhà cung cấp là cầm bàn phím. Giao cho hệ thống một tài liệu từ doanh nghiệp của bạn: hợp đồng lộn xộn, luồng hỗ trợ với ba người nói lộn xộn lên nhau, hóa đơn từ nhà cung cấp định dạng tồi tệ nhất. Yêu cầu họ chạy nó trực tiếp, không chuẩn bị.

Quan sát những thay đổi. Thời gian phản hồi, né tránh, định dạng, độ tin cậy của câu trả lời. Một hệ thống giữ nguyên hình dạng trên đầu vào không được dàn dựng đã từng tiếp xúc với thế giới thực ít nhất một lần.

Nếu nhà cung cấp từ chối, hỏi tại sao. "Dữ liệu của bạn chưa được tải vào môi trường thử nghiệm" là một câu trả lời hợp lý. Chấp nhận nó, sau đó đưa điều kiện kiểm tra bằng văn bản trước khi ký hợp đồng, cùng với tệp của bạn và định nghĩa của bạn về kết quả đạt tiêu chuẩn.

Hỏi về những gì xảy ra khi sai

Nhớ lại tỷ lệ chính xác trong một lúc và hỏi về phần còn lại. Nếu hệ thống đúng 92% thời gian, phần 8% còn lại trông như thế nào từ góc nhìn của người dùng? Chỉ có ba lựa chọn: nó nói không biết, chuyển tiếp cho con người, hoặc đưa ra câu trả lời tự tin sai lệch.

Hệ thống thất bại một cách ồn ào là rẻ để vận hành. Hệ thống thất bại một cách lặng lẽ thì đắt đỏ, vì chi phí sẽ đổ vào khách hàng đã hành động dựa trên thông tin sai và nhân viên dành một tuần để giải quyết nó.

Sau đó hỏi xem một trường hợp hệ thống từ chối trả lời. Các nhóm có sản phẩm hoạt động thường tự hào hiển thị những trường hợp này, bởi sự kiềm chế là phần khó xây dựng nhất.

Hỏi nguồn gốc của câu trả lời

Mọi thứ liên quan đến tài liệu của bạn - chính sách, giá cả, hợp đồng, thông số sản phẩm - nên có nguồn trích dẫn. Yêu cầu một nguồn trích dẫn, sau đó mở nó ra. Câu hỏi không phải là có hay không một liên kết xuất hiện. Mà là tài liệu được trích dẫn thực sự nói những gì câu trả lời tuyên bố.

Làm điều này hai lần. Hai kiểm tra sẽ cho bạn biết nhiều hơn về một hệ thống hơn một giờ trình chiếu.

Hỏi về ngày sau khi dữ liệu thay đổi

Trình diễn chạy trên một bản ghi đông lạnh. Doanh nghiệp của bạn không phải như vậy. Những câu hỏi này phân biệt một sản phẩm với một nguyên mẫu:

• Làm thế nào thông tin mới hoặc được sửa đổi được đưa vào, thường xuyên như thế nào, và công việc đó thuộc về ai?
• Khi một tài liệu bị xóa hoặc thay thế, bao lâu hệ thống ngừng sử dụng nó?
• Hệ thống có tôn trọng quyền truy cập hiện tại của bạn hay mọi người đều nhận được cùng một câu trả lời bất kể vai trò?
• Khi mô hình cơ sở thay đổi, bạn có được thử nghiệm trước khi nó đến với người dùng của mình không?
• Ai ở trực tiếp khi nó bị hỏng vào thứ Hai lúc 9 giờ sáng, và thời gian phản hồi là bao lâu?

Những câu trả lời mơ hồ ở đây là tín hiệu mạnh nhất bạn sẽ nhận được trong suốt cuộc họp. Một đội đã vận hành một sản phẩm thực tế đã trải qua tất cả năm yếu tố này.

Yêu cầu số liệu có chi phí

Tỷ lệ phần trăm trên một slide là miễn phí. Hỏi về những con số có hình dạng: bao nhiêu người dùng, trong bao lâu, so sánh với điểm chuẩn nào, và ai đo lường nó? "Giải quyết 60% vé cấp một" có nghĩa là gì nếu bạn không biết chi phí để chuyển hướng 40% còn lại, và liệu con số đó đến từ một thử nghiệm nhỏ với mười người hay một năm với một ngàn người.

Nhà cung cấp tốt sẽ trả lời với những chi tiết cụ thể và ghi chú. Ai đó đã vận hành một hệ thống thực tế biết chính xác nơi nó gặp khó khăn, và nói vậy mà không cần được thúc giục.

Hỏi về những gì nó không thể làm

Yêu cầu nhà cung cấp mô tả các trường hợp sử dụng nơi hệ thống của họ là một sự phù hợp kém. Một đội tự tin sẽ có câu trả lời sẵn sàng và thường chính xác: tài liệu dài dạng quét, ngôn ngữ ngoài tập đánh giá của họ, bất cứ điều gì yêu cầu phán đoán với rủi ro pháp lý.

Một đội nói rằng nó xử lý mọi thứ là đang nói với bạn họ chưa từng vận hành nó đủ mạnh để tìm ra các cạnh. Bạn sẽ tìm thấy chúng thay vì sau khi hợp đồng được ký kết.

Câu hỏi cuối cùng

Trước khi rời đi, hỏi xem bạn có thể nhìn thấy những gì một khách hàng hiện tại thấy vào một ngày thường không. Không phải trình diễn: bảng điều khiển, nhật ký, hàng đợi các trường hợp được chuyển tiếp, báo cáo ai đó đọc vào thứ Sáu sáng. Các hệ thống thực sự tích lũy đồ nội thất này vì ai đó đã phải vận hành chúng. Một trình diễn chuẩn bị có không có thứ Hai nào như vậy.

Chúng tôi thường ngồi ở phía người mua của bàn đàm phán này, và mô hình vẫn như nhau: các hệ thống sống sót qua những câu hỏi này hiếm khi trông ấn tượng trong một trình diễn. Chúng nhìn nhàm chán, cụ thể và được trang bị công cụ. Đó là cách hoạt động trông như thế nào.