수리 또는 재건: 인공지능 시스템이 종말을 맞이했음을 나타내는 다섯 가지 신호

AI 시스템의 종말

AI 시스템은 결코 일반적인 방식으로 '죽지' 않습니다. 그것은 계속해서 답변하고, 점수를 매기며, 매일 아침 파일을 생성합니다. 한편 팀원들은 이를 우회하고, 변경 요청이 쌓이며, 연례 지출은 아무도 성장시킬 것을 선택하지 않고 증가합니다. 시스템의 종말은 유지 비용이 증가하는 느린 과정으로 찾아옵니다. 이는 의제에는 절대 나타나지 않는 비용입니다.

따라서 결정은 미루어집니다. 재구축은 비싸고 방해받는 것처럼 들리지만, 계속 운영하는 것은 무료처럼 보입니다. 하지만 그 일은 무료가 아닙니다. 리더의 역할은 여기서 유지 비용이 대체 비용보다 더 커지는 순간을 알아보는 것입니다.

다섯 신호

이러한 신호는 다양한 산업과 시스템 유형에 걸쳐 적용됩니다. 어떤 단일 신호도 주의 깊게 살펴볼 것을 촉구합니다. 세 개가 함께 나타날 경우 결정은 이미 내려진 것이나 다름없습니다.

작은 변화가 더 이상 작지 않다. 처음 해에 2일 걸렸던 가격 규칙 조정이 이제 3주 걸리고 다른 4가지 사항을 건드립니다. 시스템은 충분한 특수 사례를 축적하여 변경의 영향 범위를 예측할 수 없는 지점에 도달했습니다.
우회법이 프로세스가 되었다. 사람들은 출력을 스프레드시트로 내보내고 수정합니다. 그 스프레드시트에는 이제 소유자, 명명 규칙, 백업이 있습니다. 실제 시스템은 우회법이고 공식 시스템은 데이터 소스입니다.
기본적인 질문에 답할 수 없다. 3월에 이 고객을 왜 거절했는가? 숫자가 변했을 때 어떤 버전이 실행 중이었는가? 아무도 일주일간의 고고학 없이 답변할 수 없다면, 당신은 규제 및 평판에 대한 노출을 계산하지 않은 채 유지 비용을 지불하고 있습니다.
지식은 한두 명의 사람에게만 존재한다. 모든 변경은 같은 사람을 기다립니다. 그들은 아무것도 숨기고 있는 것이 아닙니다. 단순히 설계 결정의 유일한 생존 복사본일 뿐입니다. 이는 기술적 위험으로 위장된 인력 위험입니다.
제한 사항이 바뀌었다. 시스템은 더 이상 존재하지 않는 한계로 구축되었습니다 — 문맥 창, 지연 천장, 통화당 가격, 3개의 구성 요소가 필요했던 기능이 이제 1개의 구성 요소로 충분합니다. 유지하는 대부분의 것은 문제 해결을 위한 구조물입니다.

신호와 아닌 신호

단일한 출력 품질 저하 분기 일반적으로 데이터 문제가 아닌 설계 문제입니다. 새로운 모델 출시는 무엇보다도 시스템이 잘 구조화되어 있다면 모델 교체는 구성 변경 사항이며 테스트하여 모델이 필요한지 확인해야 합니다. 노이즈가 많은 사고도 증거가 아닙니다 — 사고는 눈에 띄는 시스템 주변에 집중되어 있습니다.

중요한 구분은 악화되는 시스템과 변경 비용이 많이 드는 시스템 사이입니다. 첫 번째는 고칠 수 있습니다. 두 번째는 구조적 판결이며, 어떤 양의 패치도 이를 뒤집을 수 없습니다.

유지 비용과 재구축 비용 계산

재구축 제안은 한쪽 측면만 숫자를 부여받기 때문에 실패합니다. 결정하기 전에 다른 쪽 측면을 가격하세요.

지난 12개월 동안 현재 시스템이 소비한 것을 모두 더하세요: 엔지니어링 시간, 유지보수 및 사고, 공급업체 및 컴퓨팅 청구서, 수동 교정 아래에서 사람들이 보낸 시간, 비즈니스 요청했지만 실현되지 않은 변경 사항의 가치. 마지막 항목은 보통 가장 크고 거의 계산되지 않습니다. 2년 전 같은 12개월 기간을 살펴보세요. 출력이 평평한 동안 비용이 증가하고 있다면, 당신의 답을 찾은 것입니다. 그리고 그것은 이사회에서 논쟁할 수 있는 유일한 통화입니다.

슬라이스별로 재구축하고 데이터를 유지하세요

재구축은 2년 프로그램과 전환 날짜가 필요한 것이 아닙니다. 잘 대체되는 시스템은 한 기능씩 대체됩니다: 새로운 경로를 설정하여 좁은 트래픽 슬라이스에 대해 실행하고, 구식 시스템 옆에 실행하며, 실제 사례에 출력을 비교하고, 슬라이스를 이동한 후 반복합니다. 구식 시스템은 마지막 슬라이스가 떠날 때까지 계속 실행됩니다. 비즈니스에 단일 전환 주말에 의존하는 순간은 결코 없습니다.

유지해야 할 유일한 것은 데이터입니다 — 레이블이 지정된 예제, 교정, 시스템이 틀렸던 방법과 사람들이 그것을 고쳤던 기록. 축적된 판단은 진정으로 가치 있는 자산입니다. 코드 주변은 대체 가능하며, 언젠가는 대체되어야 합니다.

대부분 조직은 약 1년 너무 오래 기다립니다. 그 비용은 거의 보이지 않기 때문에 측정해야 하는 것입니다. 우리는 고객을 위해 이 무게를 지탱하는 실무를 구축했지만, 측정은 여러분이 예산 주기 전에 해야 합니다.