고객과 대화하기 전에 AI를 사용하기 전에
고객 대면 AI를 위한 출시 전 점검 목록: 범위, 우선순위 지정, 실제 사례 테스트, 공개, 모니터링, 소유권, 그리고 킬 스위치.
오류 비용 절감: 내부 AI 도구 vs 고객 응대 도구
내부 AI 도구가 실수를 저지르면 당신은 한 시간의 비용을 지불합니다. 하지만 고객을 대하는 도구가 같은 실수를 저지르면, 환불, 불만, 소셜 미디어에 스크린샷이 게시될 수 있습니다. 개발 과정은 비슷하지만 노출 수준은 다릅니다.
대부분의 팀은 시스템이 첫 번째 실제 대화를 시작하기 전에 이러한 질문에 대한 답변을 준비해 놓습니다. 시스템이 첫 대화를 시작하기 전에 다음 사항을 확인하세요.
시스템이 수행할 수 있는 범위 정의
시스템이 할 수 있는 것이 아니라, 허용된 것들을 명시적으로 작성하세요. 두 목록은 다른데, 후자는 당신을 보호합니다.
구체적이고 기계적으로 작성하세요. "주문 상태, 배송 시간, 반품 정책에 대한 질문에 답변"은 범위입니다. 반면 "고객 서비스 처리"는 아닙니다. 그 다음, 시스템이 절대 수행해서는 안 되는 행동 목록을 작성하세요: 환불 한도 초과, 가격 확인, 의료, 법률 또는 금융 결과에 대한 진술, 계정 정보 변경, 배송일 약속 등.
요청이 첫 번째 목록에 포함되지 않으면, 시스템은 이를 처리하지 않습니다. 이 규칙은 시스템 내에 구현되어야 하며, 모델의 판단에 맡겨져서는 안 됩니다.
모르는 경우 대처 방법 결정
고객 응대 배포에는 정의된 경로가 필요합니다. 대화가 누구로 넘어가는지, 얼마나 빠르게 전달되는지, 고객이 대기하는 동안 무엇을 보는지 명확히 하세요.
인수 인계 절차를 테스트하기 전에 다른 모든 것을 테스트하세요. 인간 에이전트가 전체 대화를 받는지, 아니면 고객이 반복해야 하는지 확인하세요. 일요일 밤 11시에도 시스템이 제대로 작동하는지 확인하세요. 공백 상태에 연결되는 시스템은 더 나쁜 시스템보다 못하며, 고객은 이미 다섯 분을 기다린 후입니다.
실제 사례로 테스트
지난 분기 100개의 실제 고객 대화를 추출하세요. 쉬운 것들이 아니라, 화를 낸 고객, 모호한 고객, 고객이 잘못한 경우, 당신의 두 번째와 세 번째 언어에서 처리된 대화 등입니다. 이러한 대화를 시스템에 입력하고, 직접 모든 응답을 읽거나, 해당 사례를 현재 처리하는 팀원들에게 읽어달라고 요청하세요.
특정 실패 사항 목록을 찾으세요:
- 시스템이 원천 데이터가 없는 질문에 자신감 있게 답변하는 경우
- 정책이 약간 잘못 명시된 경우 (올바른 개념이지만 잘못된 숫자나 마감일)
- 고객이 화를 낼 때 평평하거나 날카로운 톤의 경우
- 회사에 영구적으로 약속해야 하는 것으로 읽히는 응답
- 고객이 다른 언어로 작성할 때 시스템의 행동이 달라지는 경우
정확도 비율을 확인하는 것이 아닙니다. 오류의 모양을 파악하여 어떤 것은 감수할 수 있고 어떤 것은 아닌지 결정하기 위함입니다.
사용자에게 알리기
고객에게 AI 시스템과 대화하고 있다는 것을 명확하게 알려주세요. 여러 시장의 규제 기관이 이를 요구하며, 고객들도 이미 알아차리고 있습니다. 숨기는 것처럼 보이는 회사는 처벌을 받을 수 있습니다.
그 과정에서 대화 데이터 처리에 대한 정보도 제공하세요: 저장 위치, 보관 기간, 다른 관할권으로의 이동 여부, 그리고 훈련에 사용되는지 여부입니다. 법률 및 데이터 보호 담당자의 서명을 획득하여 출시 전에 이러한 사항을 확인하세요.
실패 사항 가시화
모든 대화를 로그로 기록하고, 매주 샘플을 검토하세요. 진심으로 읽고, 시작부터 분석합니다. 경고 신호를 설정하세요: 상승하는 인수 인계율, 고객이 반복해야 하는 경우, 중단, 불만 언급의 증가 등.
시스템을 평가할 하나의 지표를 선택하고, 이를 기준으로 합의하세요. 회피율, 해결률, 첫 응답 시간, 처리된 대화에 대한 만족도 등입니다. 시스템이 한 달 동안 압박을 받으면 악화될 수 있으므로, 이러한 기준에 따라 시스템을 중단할 수 있는 수준을 미리 정해두세요.
소유권과 종료 스위치 지정
시스템의 운영을 책임지는 사람을 명시하세요. 시스템을 끄는 권한을 가진 사람, 한 명의 이름과 권한으로, 한 번의 행동으로 시스템을 종료할 수 있어야 합니다. 시스템 종료에는 한 분 이내가 걸려야 하며, 누군가가 연습해야 합니다. 시스템 종료 기능이 배포와 함께 제공되지 않는다면, 당신은 단순히 희망을 품는 것일 뿐입니다.
좁은 범위에서 시작
한 언어, 한 채널, 한 범위의 질문으로 시작하세요. 전체 트래픽의 10%만 처리하고, 매주 검토하세요. 지루해지면 범위를 넓히세요. 모든 범위로 빠르게 확장하고 롤백하는 팀은 거의 승인되지 않습니다.
이것은 평범한 규율입니다. 당신의 회사가 고객과 대화하는 모든 시스템에 적용되는 것이지, 이 시스템에만 적용되는 것이 아닙니다. 클라이언트에게 자체적으로 프레임워크를 구축하라고 요구하는 대신, 이 체크리스트는 당신 자신의 손으로 쉽게 구현할 수 있습니다.