이러한 결정은 인간에게 맡기라: 인공지능이 속하지 않는 실용적인 지도

인간이 결정해야 하는 목록

대부분의 AI 조언은 시작해야 할 곳을 알려줍니다. 하지만 이 목록은 다른 측면을 다룹니다. 자동화되어서는 안 되는 결정들을 의도적으로 인간이 유지해야 하는 사항들입니다.

마지막 부분이 중요합니다. 거의 아무도 모델에게 해고 결정을 내리라고 하지 않습니다. 대신 스크리닝 도구가 지원자를 순위 매기고, 관리자가 순위를 읽은 후 6개월이 지나도 왜 최종 후보 목록이 그랬는지 설명할 수 없는 일이 발생합니다. 경계는 회의 없이 이동합니다.

테스트: 누가 책임을 져야 하는가?

일시적으로 기술을 제쳐두고 결정 자체에 대해 세 가지 질문을 해보세요.

실수로 인한 비용을 쉽게 되돌릴 수 있나요? 지원 티켓을 잘못 전달하는 것은 몇 분의 비용입니다. 하지만 거절된 모기지 신청, 철회된 채용 제안 또는 종료된 공급업체 계약은 훨씬 더 큰 비용이 발생하며, 그 손해는 회사 외부에 있습니다.

분노한 사람에게 설명해야 하나요? 대시보드나 이사회 발표가 아닌, 특정 개인이 왜 그런 결정을 내렸는지 알고 싶어 합니다. "시스템이 당신을 0.31로 평가했습니다"는 설명이 아닙니다. 모든 사람이 그게 거짓임을 알고 있습니다.

결정이 다른 결정의 규칙을 만드나요? 가격 바닥 설정, 수용 가능한 고객 정의, 판매 팀에게 보수를 지급하는 기준 선택 등 이러한 결정은 파급 효과를 가집니다. 하나 잘못되면 단순한 실수가 아니라 정책입니다.

이 세 가지 중 두 가지 이상에 해당하면 인간이 의도적으로 유지해야 합니다. 그리고 이를 서면으로 기록하세요.

선을 그어야 할 네 곳

사람에 관한 결정: 채용, 승진, 성과 평가, 징계, 해고. EU에서는 이러한 결정이 단순한 판단 이상이며 규제입니다. AI 법에 따라 고용 결정은 고위험 범주에 속하며 문서화, 인간 감독 및 결과 설명 능력이 필요합니다. 준수 외에도 더 간단한 이유가 있습니다. 관리자가 결정을 내린 이유를 자신의 말로 설명할 수 없다면 권한을 상실한 것입니다.

관계 종료 결정: 계좌 폐쇄, 청구 거부, 공급업체 차단, 환불 거절. 자동화는 지원자의 후보자 여부를 잘 파악하지만, 11년 동안 고객이었는데 최근 분기 실적이 나빴던 경우를 구분하지는 못합니다.

규제 기관이나 법원에 설명해야 하는 결정: 신용, 보험, 의료 우선순위 등 안전과 관련된 모든 것입니다. 기준은 "모델이 얼마나 정확했는지"가 아니라 "몇 달 후에도 어떤 정보가 누구에게 전달되었는지"를 재구성할 수 있는지입니다. 재구성 단계를 먼저 구축하거나 아예 자동화를 하지 마세요.

최적화 대상 결정: 모델은 주어진 목표를 더 엄격하게 추구합니다. 이는 팀 관리에서 선택하는 것이 바로 그 이유입니다. 티켓 해결을 최적화하도록 시스템에 요청하면, 대화를 필요로 하는 경우에도 더 빠르게 티켓을 닫을 것입니다.

스탬프 문제

대부분의 기업은 인간 검토 단계를 통해 이를 해결했다고 생각하지만, 실제로는 그렇지 않습니다. 검토 단계는 다음 조건 중 하나라도 충족되면 단순한 연극에 불과합니다.

검토자가 전달되는 내용의 95% 이상을 승인합니다.
평균 검토 시간은 사람이 제대로 생각하는 데 필요한 시간인 5분보다 30초 미만입니다.
검토자는 추천만 보고 그 뒤에 있는 증거를 볼 수 없거나, 시스템이 필터링한 사례들을 볼 수 없습니다.
아무도 상급자의 결정 품질에 대해 측정하지 않고, 처리량에만 초점을 맞춥니다.
추천을 뒤집는 데 더 많은 클릭, 설명 또는 변명이 필요합니다.

인센티브를 수정하거나 위선을 버리세요. 스탬프는 인간 결정의 책임과 판단 없이 자동화의 이점을 제공하는 것보다 더 나쁩니다.

기계가 자리를 잡는 곳

이 모든 것이 AI를 진지한 업무에서 배제해야 한다는 것을 의미하지는 않습니다. 오히려 올바른 위치에 배치해야 한다는 것을 의미합니다. 계약서 역사를 정리하고, 18개월간의 서신을 요약하고, 표준 조건과 다른 세 조항을 플래그하고, 유사한 사례의 결정 시기와 내용을 제시하고, 시스템이 필터링한 사례들을 정리하세요. 이는 사람이 시간 압박 속에서 잘 수행하기 어려운 진짜 힘든 일입니다.

그런 다음 인간이 결정을 내리도록 하세요. 그 결정에 자신의 이름을 붙일 수 있도록 말입니다.

가장 많은 혜택을 받는 기업들은 자동화를 가장 많이 하는 기업이 아닙니다. 오히려 이제 어려운 결정을 준비하고 접근하는 사람들이 있는 기업들입니다. 이는 Hercules A에서 추구하는 분할이며, 중요한 결정을 종이에 기록하여 도구가 당신 대신 결정하지 않도록 결정해야 합니다.