AI 시스템의 오류에 대한 관리: 고객 중심 접근법
AI 시스템의 오류는 피할 수 없는 문제이지만, 그 대처 방식은 선택의 문제입니다. 오류가 발생했을 때 이를 신속하고 효과적으로 처리하는 것은 기업의 역량과 직접적으로 연관됩니다.
'잘못'의 등급을 매기기
모든 잘못된 답변이 동일한 대응을 받아서는 안 됩니다. 출시 전에 명확한 언어로 등급을 매기고 각 등급에 담당자를 지정하세요.
- 톤 문제: 시스템이 거칠거나 도움이 되지 않는 형식적인 경우, 다음 주 업데이트를 위한 코칭 이슈입니다.
- 사실적 오류: 정책, 가격, 배송 날짜와 관련된 사실적 오류는 당일 수정하고 고객과 직접 소통해야 합니다.
- 금전, 안전, 법적 의무, 개인 데이터와 관련된 오류: 이러한 오류는 시스템을 즉시 중단시키는 중대한 사안입니다.
이 세 가지 등급에 대한 내용을 페이지에 명시하고, 각 등급의 담당자, 대응 시간, 시스템 비활성화 권한을 명확히 하세요. 권한이 있는 사람이 먼저 임원과의 상의 없이 시스템을 차단할 수 있어야 합니다.
고객에게 사람을, 아닌 루트를 제공하기
AI 서비스에서 가장 해로운 패턴은 '폐쇄 루프'입니다. 고객이 시스템과 의견 차이를 보이고, 시스템이 스스로를 설명하며, 명확한 탈출구가 없는 상황이죠. 사람들은 잘못된 답변을 용서할 수 있지만, 갇혀 있는 것은 용서하지 않습니다.
AI와 상호작용하는 모든 인터페이스에 인간에게 접근할 수 있는 경로를 명시적으로 제공해야 합니다. 이를 인터페이스 내에 배치하고, 고객이 방금 진행한 전체 대화를 볼 수 있는 담당자로 연결하세요. 또한, 대화 중 발생률을 주요 지표로 추적하세요. 대화가 반복되거나 길어지거나, 환불이나 불만과 관련된 주제라면, 적극적으로 인계하세요.
사과는 비즈니스 결정이다
고객에게 잘못된 답변을 제공했을 때 세 가지 요소가 중요합니다: 속도, 구체성, 그리고 문제 해결 의지입니다. 미리 템플릿을 작성하여 압박감 없이 상황에 맞게 수정할 수 있도록 하세요.
- 오류 내용: 시스템이 오류를 어떻게 인식했는지, 올바른 입장은 무엇인지, 그리고 재발 방지를 위한 조치는 무엇인지 명확히 설명하세요. 모델이나 아키텍처에 대한 변명이나 'AI 환상'이라는 표현은 피하세요.
- 보상 정책: 가격 오류라면 올바른 가격을 적용할지, 배송 날짜를 지키지 못한다면 어떤 보상을 제공할지 미리 결정하세요. 각 상황에 맞게 개별적으로 판단하는 것보다 일관된 정책을 수립하는 것이 비용 효율적입니다.
기록해야 할 사항
감사 추적은 논쟁을 조사로 전환합니다. 초기부터 기록해야 합니다:
- 정확한 입력과 출력: 시간 스탬프와 고객이 인용할 수 있는 대화 ID를 포함한 정확한 입력과 출력 데이터
- 모델과 버전 정보: 오류를 생성한 모델과 버전을 기록하고, 어떤 프롬프트나 구성이 활성화되어 있었는지 확인하세요.
- 시스템이 참조한 문서: 잘못된 답변의 원천을 파악하기 위해 시스템이 참조한 문서나 기록을 남기세요.
- 인간 개입: 누가 상급자에게 인계했는지, 누가 초과했는지, 어떤 변경 사항을 적용했는지 기록하세요.
- 결과: 해결, 환불, 불만, 이탈 등
기록 보관 및 접근 규칙도 함께 마련하세요. 데이터 권리 행사에 대한 고객의 요청에 응답하기 위해 법적 검토를 출시 전에 진행하는 것이 비용 효율적입니다.
한 번 연습하기
실제 운영 전 30분간의 모의 훈련을 실시하세요. 신뢰할 수 있는 오류 사례를 선택하고, 감지, 상급자 인계, 고객 소통, 해결 과정까지 전체 과정을 시뮬레이션하세요. 이를 통해 시스템 설계에 대한 미비점을 즉시 발견할 수 있습니다.
위 내용들은 화려하지 않지만, 잘못된 답변이 단순한 오류로 남지 않도록 하는 데 결정적인 역할을 합니다. 출시 전에 이러한 경로를 구축하는 것이 이후 첫 번째 나쁜 주가 오기 전에 대비하는 것입니다.