데모는 항상 작동한다: 진짜 AI 시스템과 연습된 시스템을 구별하는 방법

데모 뒤에 숨겨진 시스템을 파악하기

모든 AI 데모는 작동합니다. 그게 데모의 목적입니다. 공급업체는 문서를 선택하고 고객 기록을 보고 질문을 하며 클릭 순간을 결정합니다. 이 과정은 부정직하지 않지만, 증거도 아닙니다. 당신의 역할은 그 성능 뒤에 있는 시스템이 있는지 30분 안에 파악하는 것입니다.

당신의 입력을 가져오기

공급업체 미팅에서 가장 유용한 일은 키보드를 잡는 것입니다. 당신의 사업에서 혼란스러운 계약서나 지원 스레드, 형편없이 포맷된 청구서를 시스템에 전달하세요. 그들에게 생전 준비도 하지 않은 채 실시간으로 처리해 보라고 하세요.

변화를 관찰하세요. 응답 시간, 우회, 포맷, 답변의 자신감 수준이 어떻게 변하는지 보세요. 입력 데이터가 없었음에도 시스템이 제 기능을 하는 것은 실제 세계와 마주한 적이 있다는 것을 의미합니다.

공급업체가 거절하면 왜 그런지 물어보세요. "데이터가 샌드박스에 로드되지 않았습니다"는 합당한 답변입니다. 이를 받아들이고, 테스트를 조건으로 문서화하고 당신의 파일과 통과 기준을 제시하세요.

잘못된 경우의 처리 방법 물어보기

일시적인 정확도 비율을 제쳐두고 나머지 8%에 대해 물어보세요. 시스템이 92% 정확하다면, 나머지 8%는 사용자의 관점에서 어떤 모습인가요? 세 가지 선택지 중 하나가 될 수 있습니다: 답을 모르거나, 사람에게 이관하거나, 자신 있게 잘못된 답변을 내놓는 것입니다.

오류로 인해 소음을 내는 시스템은 운영 비용이 적게 들지만, 오류로 인해 조용히 실패하는 시스템은 고객이 잘못된 정보에 기반해 결정을 내리고, 직원이 이를 해결하기 위해 일주일을 보내는 결과가 됩니다.

그런 다음, 시스템이 답변을 거부한 사례를 보여달라고 요청하세요. 제품을 출시한 팀은 일반적으로 이러한 사례를 자랑스럽게 보여줍니다. 왜냐하면 절제는 구축하기 어려운 부분이기 때문입니다.

답변 출처 묻기

당신의 사업과 관련된 모든 것 (정책, 가격, 계약서, 제품 사양 등)은 출처를 명시해야 합니다. 출처를 요청하고, 그 문서를 열어보세요. 질문은 링크가 나타났는지 여부가 아니라, 답변이 주장하는 내용이 해당 문서에 실제로 있는지 여부입니다.

이를 두 번 반복하세요. 두 번의 검토는 한 시간의 프레젠테이션보다 더 많은 정보를 제공합니다.

데이터 변경 후의 상황 물어보기

데모는 동결된 스냅샷을 기반으로 합니다. 하지만 당신의 사업은 동결되지 않습니다. 이러한 질문은 제품과 프로토타입을 구분지었습니다:

새로운 정보나 수정 사항이 시스템에 어떻게 들어가는가, 얼마나 자주, 누구의 책임인가?
문서가 삭제되거나 대체되면 시스템이 이를 사용하지 않게 되는 데 걸리는 시간은 얼마인가?
시스템은 당신의 기존 권한을 존중하는가, 아니면 모든 사용자에게 동일한 답변을 제공하는가?
기본 모델이 변경될 때, 테스트를 진행할 수 있는 권리는 있는가?
월요일에 오전 9시에 시스템이 고장 나면 누가 대응 책임을 지며, 대응 시간은 얼마인가?

모호한 답변은 회의에서 가장 강력한 신호입니다. 실제 운영 환경을 경험한 팀은 이러한 질문에 대해 잘 알고 있으며, 이를 솔직하게 답변할 것입니다.

비용이 발생하는 숫자 요청하기

슬라이드에 표시된 퍼센트는 무료입니다. 사용자 수, 월 수, 기준선 대비 비율, 누가 측정한지 등 구체적인 숫자를 요청하세요. "티어 원 티켓의 60%를 해결한다"는 말은 다른 40%가 재라우거나 법적 노출로 인해 얼마나 비용이 드는지 알기 전에는 별 의미가 없습니다.

좋은 공급업체는 구체적인 답변과 함께 신중하게 대답합니다. 실제 시스템을 출시한 팀은 시스템의 약점을 정확히 알고 있으며, 이를 솔직하게 밝힙니다.

시스템의 한계 물어보기

공급업체에게 그들의 시스템이 적합하지 않은 사용 사례를 설명해 달라고 요청하세요. 자신감 있는 팀은 이러한 질문에 대한 답변을 준비하고 있으며, 보통 매우 정확합니다: 스캔된 긴 문서, 평가 세트 외의 언어, 법적 판단이 필요한 경우 등입니다.

모든 것을 처리할 수 있다고 주장하는 팀은 아직 시스템을 충분히 테스트하지 않아 가장자리를 발견하지 못했을 가능성이 높습니다. 당신은 대신 계약이 체결된 후에 이러한 한계를 발견하게 될 것입니다.

마지막 질문

미팅을 마치기 전에, 기존 고객이 평범한 화요일에 보는 것을 보여주세요. 데모가 아닌, 대시보드, 로그, 우선 처리되는 사례, 금요일 아침에 누군가가 읽는 보고서 등을 보여달라고 요청하세요. 실제 시스템은 이러한 무채색, 구체적이고 측정 가능한 인터페이스를 가집니다. 이는 작동하는 모습입니다.