왜 당신의 AI 파일럿이 출시 전에 계속 멈추는가?

대부분의 AI 실험을 하는 기업들은 폐기물 더미를 가지고 있습니다. 그것은 몇 개의 슬랙 채널과 데모에서 잘 작동했지만 일상적으로 사용되지 않은 세 명이나 네 명의 파일로 구성된 폴더입니다. 아무도 그들을 죽이지 않았습니다. 그들은 단순히 생산 단계로 넘어가지 않았을 뿐입니다.

편안한 이야기는 이러한 실험들이 저렴했기 때문에 손실이 적다는 것입니다. 이 이야기는 틀렸습니다. 생산 단계에 도달하지 못한 파일은 청구서에 명시된 비용보다 훨씬 더 많이 들고, 가장 큰 비용은 청구서에도 전혀 나타나지 않습니다.

파일이 실제로 지출한 비용

계산 가능한 것부터 시작합니다. 파일은 엔지니어링 시간, 공급업체 수수료, 그리고 테스트를 동의한 사람들의 주의를 소비합니다. 하지만 테스트를 하는 사람들은 보통 여유 용량이 아닙니다. 그들은 일반적으로 프로세스를 잘 이해하는 강력한 운영자입니다. AI가 도움이 되었는지 판단할 수 있는 사람들에게 시간을 할애하는 것은 그들의 고유한 업무에서 시간을 빼앗는 것입니다.

그런 다음 데이터 작업이 있습니다. 대부분의 진지한 파일은 기록 정리, 예시 라벨링 또는 라이브 시스템과의 연결을 위한 설정이 필요합니다. 이 노력은 실재하고 지속 가능하지만 파일이 배포될 때만 가능합니다. 파일이 멈추면 정리된 데이터는 다시 유효하지 않게 되고 통합은 꺼집니다. 당신은 자산을 구축하는 데 비용을 지불했고 그 후로 그 자산이 만료되었습니다.

회계 장부에 기록되지 않는 비용

비용의 더 비싼 부분은 죽은 파일이 모든 사람에게 미치는 영향입니다.

첫 번째 희생자는 신뢰성입니다. 유망한 도구가 사라진 후 팀원들은 AI 프로젝트가 연극이라는 것을 배우게 됩니다. 다음 번 제안을 할 때 가장 강력한 운영자, 즉 프로세스를 잘 이해하는 사람들이 참여를 거부할 것입니다. 왜냐하면 그들은 이미 이러한 결과로 끝나는 방식을 목격했기 때문입니다. 당신은 새로운 파일로부터 시작하는 것이 아니라 자신들이 만든 누적된 회의론으로부터 시작하는 것입니다.

두 번째 희생자는 타이밍입니다. 파일이 평가 중이었을 때 기본 모델은 계속 향상되었고 경쟁사들은 계속 배포했습니다. 당신이 희망했던 이점은 시연에서가 아니라 실제 사용자가 시스템에 의존하기 시작하면서 축적되는 학습 기간에 있었습니다. 파일이 결코 배포되지 않는다면 당신은 그 어떤 이점도 얻지 못합니다.

파일이 멈추는 이유

파일은 기술이 작동하지 않아서 실패하는 것이 아닙니다. 그들은 코드 한 줄도 작성되기 전에 존재했던 결정 때문에 멈춥니다:

• 배포할 권한이 없는 소유자. "혁신"을 후원하지만 파일을 운영할 팀을 지정하지 않은 파일은 생산 단계로 나아갈 수 없습니다.
• 성공에 대한 정의가 없다. 사전에 결과가 무엇이 배포를 정당화하는지 동의하지 않으면 모든 결과는 "계속 탐구해 보자"로 보입니다.
• 마지막 단계가 범위에 포함되지 않았다. 권한, 모니터링, 오류 처리 및 지원은 후순위로 여겨지므로 작동하는 프로토타입이 실제적으로 의존할 수 있는 안전한 상태에 도달하기까지 몇 달이 걸립니다.
• 파일은 시연을 해결했지만 실제 업무는 아닙니다. 파일은 깨끗한 사례를 인상적으로 처리하지만 실제 업무의 더러운 30%를 무시합니다.

이러한 것들은 모델의 문제가 아니라 소유권, 범위 및 헌신에 관한 결정입니다.

파일이 생산 단계처럼 실행되도록 하라

문제를 해결하는 방법은 파일이 기술에 대한 질문이 아닌 생산 단계의 첫 번째 단계로 취급되는 것입니다. 시작하기 전에 도구를 소유할 사람을 지정하고 그들에게 거부권을 부여하세요. 배포를 트리거할 단일 숫자와 청산할 숫자를 작성하세요. 접근, 모니터링, 모델이 잘못될 때의 대체 방법과 같은 마지막 단계 작업을 파일 범위에 포함시키지 말고 파일을 후에 추가하세요. 시연을 위한 실제 워크플로우와 실제 볼륨을 선택하지 않고 화려한 쇼케이스를 선택하세요.

시작하는 데 시간이 더 걸리지만 결과와 팀과의 신뢰를 유지하는 측면에서 더 나은 파일이 몇 개 있는 것이 실험 파이프라인에 바쁜 것보다 훨씬 낫습니다.

Hercules A에서는 고객의 AI 노력이 멈췄을 때 가장 먼저 확인하는 것이 바로 이 점입니다. 모델을 개선하는 것이 아니라 소유자와 정의되지 않은 마감선이 부족한 경우입니다. 기술은 종종 병목 현상이 아닙니다.

파일은 그저 작동했기 때문에 성공한 것이 아닙니다. 사람들이 의존하게 되었고 파일이 사라지면 알아차릴 수 있는 경우에만 성공한 것입니다. 그 이하의 것은 이미 지불한 비용이고 아직 계산하지 않은 비용입니다.