루프에 인간이 있지만 극은 없다
인공지능 워크플로우에서 인간 검토가 어떤 역할을 해야 하는지, 체크포인트를 어떻게 설계해야 하는지, 그리고 그것들이 단순한 승인 도구가 되지 않도록 어떻게 유지해야 하는지에 대한 실용 가이드.
인간을 과정에 포함시키다
"인간의 참여"는 AI를 도입하는 기업의 표준적인 안심 요소입니다. 책임감 있는 것처럼 들리지만, 이 문구는 인간이 어디에 앉아 있는지, 실제로 무엇을 볼 수 있는지, 또는 시간이 있고 권한이 있어 '아니오'라고 말할 수 있는지에 대해서는 아무것도 말하지 않습니다. 잘 수행된 인간 검토 지점은 고객에게 도달하기 전에 비싼 실수를 잡을 수 있습니다. 하지만 잘못 수행되면 출력을 평가할 수 없는 상태에서 승인하는 사람에게 책임을 전가하게 됩니다.
다음은 개선된 버전입니다.
비용이 발생하는 곳에 사람을 배치하기
모든 AI 출력이 검토될 필요는 없으며, 모든 것을 검토하면 실제로 주의를 기울이는 것이 보장되지 않습니다. 유용한 질문은 "이것이 중요한가?"가 아니라 "잘못된 답변의 비용은 얼마이며, 이를 회복할 수 있는가?"입니다.
내부 회의 메모 초안을 자동으로 실행할 수 있는 모델이라면 검토 없이 작동할 수 있습니다. 잘못된 메모는 저렴하고 명백합니다. 고객 환불 금액을 설정하거나 규제 양식을 제출하거나 클라이언트에게 이메일을 보내는 모델은 검토 지점이 필요합니다. 왜냐하면 실수는 비싸고 되돌릴 수 없기 때문입니다. 오류 발생 가능성과 복구 난이도에 따라 AI로 처리할 결정을 정렬하세요. 가장 모서리 부분에 사람이 있어야 합니다. 나머지는 샘플링으로 실행됩니다.
판단, 아닌 살펴보기 설계하기
검토가 효과를 발휘하려면 검토자가 실제 시간 내에 독립적인 판단을 내릴 수 있어야 합니다. 이는 인터페이스가 단순히 답변만 보여주는 것을 넘어야 한다는 것을 의미합니다.
- 결론뿐만 아니라 이유나 출처를 보여주세요. 예를 들어, 영수증 행에서 숫자가 나온 것이나 결정이 인용한 정책 조항을 표시하세요.
- 모델의 불확실성을 플래그하여 저신뢰 사례가 일상적인 사례보다 더 면밀히 조사되도록 하세요.
- 거부하기가 승인하기만큼 쉽도록 하세요. '아니오'를 세 번 클릭하고 '예'는 한 번 클릭하면 스텝이 됩니다. 그렇지 않으면 단순한 스탬프와 다름없습니다.
- 검토자가 이의를 제기할 수 있는 충분한 맥락을 제공하되, 각 사례에 20분씩 걸리지 않도록 하세요. 그들이 가지고 있는 시간에 맞춰 조정하세요.
검토자가 왜 승인했는지 설명할 수 없다면, 그들은 검토하지 않은 것입니다. 그들은 목격자일 뿐입니다.
조용한 실패 모드 감시하기
인간 감독력이 저하되는 가장 예측 가능한 방법은 자동화 편향입니다. 모델이 95%의 정확도를 보인다면, 검토자들은 신뢰를 갖게 되고 승인율은 100%에 가까워집니다. 하지만 5%의 필요한 사례는 놓치게 됩니다. 왜냐하면 이를 잡으려면 강한 선입견을 유지해야 하기 때문입니다.
이 문제를 해결하기 위해 "주의 깊게 살펴라"라고 상기시키는 것만으로는 충분하지 않습니다. 구조로 해결하세요. 검토자의 거부율 추세를 시간에 따라 추적하세요. 만약 이 수치가 거의 0에 가까워진다면, 모델이 개선되었는지 인간들이 더 이상 살펴보지 않게 된 것인지 확인해야 합니다. 정기적으로 알려진 나쁜 사례를 삽입하고 그들이 잡히는지 확인하세요. 피로감이 설정되기 전에 검토자를 교체하세요. 검토 지점이 실제로 작동하지 않는다면, 통제와 실질적인 내용 사이의 차이가 사라집니다.
진정한 권한을 부여하기
검토 과정에 참여하지만 프로세스를 중단할 수 없는 사람은 장식일 뿐입니다. 검토자가 실제 '아니오'를 가지고 있어야 합니다. 작업 흐름을 멈추거나 더 높은 수준의 직원으로 라우팅하거나 수동 경로를 트리거할 수 있어야 합니다. 조직은 때때로 속도를 늦출 수 있다는 것을 이해해야 합니다. 만약 리더십이 통제를 방해하는 사람을 비밀리에 처벌한다면, 검토자들은 빠르게 메시지를 받아들이고 차단하기 시작할 것입니다. 설계한 감독 체계는 사라지고, 외관만 남게 됩니다.
인간의 승인이 나쁜 AI 결정에 대한 책임을 누가 지는지 미리 결정하세요. 만약 답변이 '모델'이라면, 인간을 검토 과정에 포함시키지 않은 것입니다. 대신 누군가를 비난할 사람을 찾은 것입니다.
루프를 변화시키기 계획하기
감독은 영원히 지불해야 하는 고정 비용이 아닙니다. 모델의 신뢰성과 오류 발생 가능성에 대한 데이터를 수집함에 따라, 인간이 결코 잡는 것이 없는 사례에서 사람들을 제거하고 실제 오버라이드가 발생하는 곳에 집중할 수 있습니다. 루프는 시간이 지남에 따라 일부 영역에서는 조여지고 다른 영역에서는 단단하게 유지되어야 합니다. 이를 위해서는 처음부터 오류 발생률과 비용을 추적하지 않고 단순히 '인간의 참여' 상자를 체크하는 것만으로는 충분하지 않습니다.
이것은 AI 채택의 불우한 부분입니다 - 검토 지점, 감사 추적, 잘못된 답변의 실제 비용에 대한 정직한 회계. 또한 위험과 가치가 실제로 존재하는 부분이기도 합니다. Hercules A에서는 이 부분을 함께 수행합니다: 시스템에 감독 체계를 구축하고, 검토자를 단순히 프로세스에 연결하는 것이 아니라 진정으로 안전하게 만듭니다.