인계 문제: 컨설턴트가 떠나기 전에 팀에서 책임져야 할 것들
대부분의 AI 프로젝트는 출시 시 실패하지 않는다 — 대신 6개월 후에, 회사 내 아무도 시스템을 변경할 수 없을 때 실패한다. 이를 방지하는 방법은 이렇다.
AI 프로젝트의 두 가지 결과
AI 프로젝트는 출시와 함께 축하받는 첫 번째 결과와 몇 달 후에 조용히 찾아오는 두 번째 결과로 나뉜다. 공급자의 변경, 규정의 변화, 모델 버전의 퇴역과 같은 이유로 시스템이 더 나쁜 답변을 내놓기 시작할 때가 그 시점이다. 그때의 질문은 단순하다: 누가 고쳐야 하는가?
정직한 답변이 "컨설턴트를 다시 불러야 합니다"라면, 당신은 시스템을 구매한 것이 아니라 임대했다. 그리고 미터기는 여전히 작동 중이다.
실제 소유권이란 무엇인가?
소유권은 마지막 날 전달되는 문서 폴더가 아니다. 내부에서 실행할 수 있는 네 가지 실질적인 능력이다.
- 운영: 누군가가 시스템이 제대로 작동하는지 확인하고, 문제가 발생하면 알 수 있다.
- 변경: 규칙을 조정하거나, 문서 소스를 추가하거나, 프롬프트를 업데이트할 수 있다. 지원 티켓을 열지 않고서 말이다.
- 판단: 좋은 출력과 나쁜 출력을 구분할 수 있고, 그 근거는 사실이지 느낌이 아니다.
- 대체: 시스템에 의존하는 것을 알고, 이동 비용과 다른 사람의 업무 능력을 안다.
대부분의 인수인계는 첫 번째 능력만 제공하고 나머지 세 가지는 간과한다. 그래서 시스템이 표류하게 된다.
중요한 문서란 무엇인가?
문서는 계약 조항을 충족하기 위해 작성되므로, 아무도 손댈 일이 없는 아키텍처를 설명하고 실제 필요한 사항은 누락된다. 다음 목록을 짧게 유지하고 다음과 같은 것을 고수하라:
- 실패 사례를 위한 운영 매뉴얼: 가장 가능성이 높은 다섯 가지 오류, 외부에서는 어떻게 보일지, 각 오류에 대한 초기 세 단계를 기술한 문서다. 당직자를 위해 작성되어야 한다.
- 평가 집합: 100~200개의 실제 사례와 각 사례에 대한 올바른 답변을 포함해야 한다. 이 문서는 전체 프로젝트의 가장 가치 있는 자산이다.
- 변경 로그와 이유: 단순히 무엇이 구성되었는지 기록하는 것뿐만 아니라, 규칙이 존재하는 이유를 기술한다. 이유는 없으면 다음 사람이 삭제할 것이다.
- 의존성과 비용 시트: 모든 모델, API, 공급업체; 월별 비용; 계약 갱신 날짜; 시스템이 사라지면 무엇이 깨지는지.
- 데이터 맵: 데이터의 위치, 접근 권한, 유지 기간. 법무와 보안 팀은 언제든지 이 문서를 필요로 할 것이다.
다른 모든 것은 선택 사항이다. 문서가 누군가의 운영, 변경, 판단, 대체에 도움이 되지 않는다면 장식품일 뿐이다.
필요한 세 사람
기계 학습 팀을 고용할 필요는 없다. 세 명의 개별 인원을 지정해야 하는데, 프로젝트 시작 전에, 최종 한 달 동안이 아니라.
- 비즈니스 소유자: 시스템이 무엇을 해야 하는지 결정하고 예산을 관리하는 사람. 변경 사항을 승인하고 범위 확장을 거부한다. 이 역할은 기술적이지 않다.
- 기술 관리자: 구성을 읽고, 통제된 변경을 수행하고, 테스트한 후 프로덕션에 배포할 수 있는 사람. 종종 기존 개발자나 IT 엔지니어이며, 모델 구축이 아닌 기존 모델의 수정과 배포를 할 수 있어야 한다.
- 품질 소유자: 시스템을 서비스하는 부서의 고위 관리자, 주요 간호사, 지원팀장 등. 평가 집합을 유지하고 "좋음"이 무엇인지 결정한다. 이 역할이 없으면 몇 주 안에 품질이 의견으로 전락할 수 있다.
전체 내부 비용은 보통 한 명의 전담 직원에 필요한 비용의 1/3에 불과하며, 시스템이 안정된 후에 발생한다. 실패 모형은 비용이 아닌 아무도 지정되지 않은 것이다.
인수인계 테스트를 하면서 협상하라
문서를 증거로 인수를 받아들이지 마라. 컨설턴트가 여전히 계약 기간 중일 때 최종 주에 실제 변경을 수행하는 라이브 테스트를 실시하라.
실제 변경 사항을 선택해 - 지식 기반에 새로운 제품 추가, 시스템이 거부하는 내용에 대한 규칙 강화, 업데이트된 가격 표 교체 등 - 당신의 팀에게 수행하게 하고 컨설턴트는 방관자로 놓아둔다. 시간을 측정하고, 그 후 품질 소유자가 평가 집합을 실행하고 다른 것이 깨지지 않았는지 확인한다.
팀이 하루 안에 완료하면 당신이 시스템의 주인이다. 일주일 이상 걸리고 세 가지 질문이 제기되면, 바로 전에 찾아야 할 간격이 무엇인지 알게 될 것이다. 어떤 결과든, 계약서에 명시된 인수인계 마일스톤, 수령 팀 지정, 감독된 변경 테스트는 모두 협상하기 더 쉬운 조건이다.
Hercules A에서는 이렇게 구축한다. 그리고 그 의미는 우리의 프로젝트가 끝나는 것이다. 좋은 AI 프로젝트의 조치는 컨설턴트가 1년 후 깊이 파고들어 있는 것이 아니라, 당신의 직원들이 시스템을 변경할 수 있다는 자신감이다.