在 AI 展示會上問對問題
每一次 AI 展示都會成功。這正是展示會的目的所在。供應商選擇了文件、客戶記錄、問題和點擊時刻。這些都沒有不誠實的地方，但它們也不是證據。你在那次會議中的任務是找出背後是否有一個系統，通常可以在三十分鐘內用正確的問題完成。
帶上自己的輸入
在供應商會議中最有用的事情就是拿起鍵盤。將你自己的業務文件交給系統：一篇雜亂的合約、一個三個人互相打斷的支援線、來自最不整潔供應商的發票。請他們現場運行，未準備好。
觀察會發生什麼變化。反應時間、迴避、格式、答案自信度。一個在無人排練的輸入上保持穩定的系統至少已經接觸過現實世界一次。
如果供應商拒絕，問他們為什麼。"您的數據尚未載入沙盒"是一個合理的答案。接受它，然後將測試書面化作為條件，在你簽字前，附上你的文件和你對通過的定義。
詢問錯誤時發生什麼
先忽略準確度百分比，然後問剩餘部分。如果系統正確 92% 的時間，那麼那 8% 的錯誤情況從用戶角度看起來是怎樣的？只有三個選項：它說它不知道、它升級給一個人處理，或者它自信地提供了一個錯誤答案。
失敗得響亮便宜運行。失敗得安靜則昂貴，因為成本落在了根據錯誤信息採取行動的客戶和花一周時間糾正問題的員工身上。
然後要求看一個系統拒絕回答的例子。擁有可運行產品的團隊通常會自豪地展示這些，因為克制是更難構建的。
詢問答案來源
與你自己的材料（政策、價格、合約、產品規格）相關的任何內容都應引用其來源。要求提供引用的來源，然後打開它。問題不是是否出現了一個鏈接。關鍵是引用的文件是否實際上包含答案所聲稱的內容。
做這個兩次。兩項檢查比一小時的幻燈片展示告訴你更多關於一個系統的情況。
詢問數據變更後的狀況
展示會以凍結的快照運行。你的業務卻不是凍結的。這些問題能區分產品和原型：
- 新或修正信息如何進入，多久一次，以及誰的工作是這件事？
- 當文件被刪除或取代時，系統何時停止使用它？
- 系統是否尊重你現有的權限，還是每個人都會得到相同的答案，不論角色如何？
- 當底層模型發生變化時，你能提前測試嗎？
- 星期一上午九點系統出錯時，誰在值班，響應時間是多久？
這裡模糊的回答是你在會議中會得到最強烈的信號。一個已經運行過某種產品的團隊已經經歷了所有五個問題。
要求提供一些成本的數字
幻燈片中的百分比是免費的。要求提供具有形狀的數字：多少用戶，多長時間，根據什麼基準，誰來測量。"解決 60% 的一級票證"在沒有知道其他 40% 重定向成本的情況下意味著甚麼，這些成本來自於一個有十個人的試點還是一年有千人的情況？
好的供應商會提供具體的答案並附帶適當的預警。已經交付過真實系統的團隊對系統緊張的地方了如指掌，並且在沒有被推敲的情況下明確地說出。
詢問系統無法做的事情
請供應商描述他們系統不適合的用例。一個自信的團隊會準備好這個答案，通常是精確的：長格式掃描文件、超出其評估集的語言、任何需要法律風險判斷的情況。
一個聲稱能處理一切的團隊正在告訴你他們還沒有讓系統在足夠嚴峻的情況下運行，以找到邊界。你會在簽署合同後發現這些邊界。
最後一個問題
離開前，請要求看到一個現有客戶在普通二星期會看到的內容。不是展示會：儀表板、日誌、升級案例隊列、週五早上讀的人員報告。真實系統會積累這種無聊但重要的家具，因為有人必須操作它們。排練好的展示會沒有二星期。