AI 프로젝트가 실제로 잘 작동했는지 측정하는 방법

인공지능 프로젝트의 성공을 위한 측정 방법

대부분의 인공지능(AI) 프로젝트가 데모와 박수 속으로 마무리된다. 하지만 몇 가지는 숫자로 마무리된다. 6개월 후에도 아무도 이 시스템이 비용을 절감했는지, 고객을 확보했는지, 혹은 단순히 유지 관리를 위한 또 다른 도구를 추가했는지를 말할 수 없다면, 그 프로젝트는 실패한 것이다.

AI 프로젝트 성과를 측정하는 것은 복잡하지 않다. 프로젝트가 성공하려면 사업이 어떻게 변화해야 하는지 미리 결정하고, 이를 확인하는 것이다.

"작동"이란 무엇을 의미하는가?

AI 프로젝트는 이미 관심이 있는 비즈니스 숫자를 변경할 때 성공한다. 정확도, 응답 품질, 추상적인 채택률이 아니라, 숫자: 수동 작업 시간 감소, 프로세스 기간 단축, 청구서 오류율, 티켓 처리당 비용, 대표당 수익 등이다.

프로젝트 시작 전에 이 숫자와 목표를 적어둔다. "시스템은 견적서 준비 시간을 3일에서 1일로 줄여야 한다"는 주장은 검증할 수 있다. "시스템은 효율성을 향상시킬 것이다"라는 주장은 동의할 수 있지만, 구체적인 숫자를 제시하지는 못한다. 팀이 프로젝트가 가져야 할 숫자를 말하지 못한다면, 프로젝트는 자금 지원을 받을 준비가 되지 않았다.

기준선을 먼저 측정하라

기준선을 기록하지 않으면 개선 사항을 비교할 수 없다. 시스템이 출시되기 전에 2주간 프로세스가 현재 어떻게 수행되는지 포착한다: 작업에 소요되는 시간, 오류 발생 빈도, 비용, 작업을 처리하는 사람. 이 과정은 지루하지만, AI 채택 시 가장 자주 생략되는 단계이다.

기준선은 완벽할 필요가 없다. 현재 프로세스의 10건의 타이밍 예제가 0건보다 낫다. 이를 기록하지 않으면 나중에 가치에 대한 모든 대화는 의견 대 의견으로 변질될 수 있다.

결과, 아닌 모델 성능을 평가하라

기술 팀은 정확도, 지연 시간, 벤치마크 점수 등 기술 메트릭스를 보고할 것이다. 이는 그들에게 중요하지만, 당신에게는 그렇게 중요하지 않다. 모델이 95%의 정확도를 가져도 중요한 고객에게 오류를 내거나 직원들이 비밀리에 3월부터 시스템을 사용하지 않는다면, 프로젝트는 실패한 것이다.

리더십 수준에서 검토해야 할 메트릭스는 네 가지로 분류할 수 있다:

출력: 기준선보다 작업이 더 빠르거나 저렴하거나 더 나은가?
채택: 시스템을 통해 처리되는 대상 가능한 작업의 비율과 이 비율이 증가하고 있는가?
예외: 인간이 개입하거나 수정하거나 오버라이드해야 하는 경우가 얼마나 자주 발생하는가? 이러한 사례는 줄어들고 있는가?
신뢰: 사용자들은 시스템을 잃는 것에 동의할 것인가?

채택률은 특히 주목할 만하다. 대상 작업의 8%만 시스템을 통해 처리된다면, 이는 성공하지 못한 것이다. 사용량이 감소하는 것은 문제가 있다는 가장 솔직한 신호이며, 이는 불만이 제기되기 훨씬 전에 나타난다.

전체 비용을 계산하라

개발 비용은 눈에 보이는 부분이다. 실제 총 비용에는 지속적인 비용이 포함된다: 구독 및 컴퓨팅 비용, 출력을 검토하는 직원의 시간, 유지 관리 비용(제공업체가 API를 변경하거나 시스템이 구축된 프로세스가 변화할 때). 주당 20시간을 절약하지만, 리뷰와 유지 관리에 10시간이 소요된다면, 실제 수익은 헤드라인 수익의 절반에 불과하다.

출시 후 3개월과 6개월 간격에서 전체 실행 비용과 측정된 이익을 비교한다. 많은 프로젝트가 출시 시점에서는 마진 없이 보이지만, 6개월 후에는 명확하게 긍정적인 결과를 보인다. 어떤 프로젝트는 데모가 뛰어났지만, 실제로는 부정적일 수 있다. 당신이 어떤 프로젝트에 투자하고 있는지 알기 위해서는 시간이 아직 남아 있으니, 수정하거나 중단할 수 있다.

퇴화를 감시하라

AI 시스템은 다리가 없는 다리처럼 지속적으로 유지되어야 한다. 데이터, 비즈니스, API 뒤에 있는 모델이 갑자기 변한다. 1월에 작동했던 시스템이 7월에는 조용히 퇴화할 수 있으며, 출력이 여전히 합리적이라면, 고객이 이를 알아차리기 전까지 아무도 모를 수 있다.

해결 방법은 간단하다: 알려진 답을 가진 알려진 사례 세트를 유지하고, 매월 이 시스템을 실행한다. 결과가 변하면, 당신의 내부 검토를 통해 발견할 수 있다. 이를 담당할 사람을 지정하라. 누구도 퇴화를 감시하지 않는다면, 퇴화는 눈에 띄지 않을 것이다.

1페이지 테스트

AI 프로젝트가 성공했다면, 한 페이지로 요약할 수 있어야 한다: 기준선, 목표, 측정 결과, 전체 비용, 출시 후 추세. 이 페이지를 작성할 수 없다면, 솔직한 결론은 프로젝트가 실패한 것이 아니라, 아무도 결과를 알지 못한다는 것이다. 이는 비즈니스 관점에서 같은 의미이다.

이러한 측정 규율은 대부분의 팀이 예상하는 것보다 무겁지만, 그 무게를 지는 것은 AI가 데모로 끝나는 것이 아닌, 실제 비용을 절감하고 고객을 확보하는 것을 보장하기 위한 것이다. 또한, 이 부분은 Hercules A가 처음부터 구축한 것으로, "성공했나?"라는 질문에 대한 답변이 숫자로 주어지도록 한다.