당신이 요청하지 않은 업그레이드

인공지능 업그레이드가 문제를 일으키는 방식

금요일에 AI 시스템이 작동했습니다. 월요일에도 여전히 답변을 제공하고, 2초 미만의 응답 시간으로 건강 검사를 통과합니다. 하지만 답변은 미묘하게 달라졌습니다. 파서 아래에서 문법 오류를 일으키거나, 이전에 정확했던 정책에 대해 잘못된 정보를 제공하거나, 출력 품질이 저하되었습니다.

어떤 것도 실패하지 않았습니다. 제공업체는 모델 업그레이드를 배포했습니다.

이러한 유형의 고장은 리더십 팀에게 가장 놀라운 것입니다. 왜냐하면 이는 시스템 오류와 전혀 닮지 않기 때문입니다. 빨간 불이 켜지지 않고, 시스템은 건강한 상태를 보고하지만, 출력 품질이 갑자기 떨어졌습니다. 고객들이 모니터링보다 먼저 이를 인지합니다.

업그레이드가 작동하는 방식을 이해하기

중요한 단일 제어는 잘 알려진 답변을 가진 고정된 테스트 사례 집합인 '골든 세트'를 구축하는 것입니다. 실제 트래픽에서 추출한 200개의 예제는 일반적인 경우, 모서리 경우, 그리고 잘못된 답변이 비용을 초래하는 상황을 포괄합니다. 각 예제는 비즈니스가 올바른 것으로 간주하는 답변을 포함해야 합니다.

현재 모델에 이 집합을 실행하고 결과를 기록하세요. 이것이 기준선이 됩니다. 새로운 모델이 배포되면 동일한 집합을 다시 실행하고 비교하세요. 비교 결과가 전체 제품입니다. 이제 증거를 갖게 되는 것입니다.

이 작업을 수행하는 데는 며칠이 걸리고, 운영 담당자가 아닌 운영자가 '올바른' 답변을 정의해야 합니다. 대부분의 조직은 출시 전에 이 과정을 생략합니다. 이는 시스템에서 가장 저렴한 보험입니다.

변경 사항이 귀사에 도달하는 것을 제어하기

모든 프로덕션 구성에 명시적인 모델 버전을 고정하세요. 고정된 버전은 기습 공격이 아닌 전략적 결정을 가능하게 합니다. 그런 다음 각 업그레이드를 작은 프로젝트로 취급하세요:

• 골든 세트를 새로운 버전과 비교하고, 각 경우를 기준선과 비교합니다.
• 비즈니스 소유자가 모든 답변이 변경된 사례를 검토하도록 하세요. 개선 사항도 다운스트림 시스템을 깨뜨릴 수 있습니다.
• 소량의 라이브 트래픽을 새로운 버전으로 전송하고 운영 신호를 모니터링하세요: 상승률, 처리 시간, 직원 편집 횟수, 부정 클릭 등
• 이전 버전을 롤백할 수 있는 창을 유지하고, 스위치를 끌 권한을 가진 사람을 알아두세요.
• 결정, 날짜 및 증거를 기록하여 다음 업그레이드가 알려진 상태에서 시작될 수 있도록 하세요.

이 목록에 없는 것은 데모입니다. 새로운 모델이 5개의 질문에 인상적으로 답변한다고 해서 트래픽의 20분위수에 대한 불만을 해결할 수 있는 것은 아닙니다.

비즈니스가 이미 생성하는 신호를 관찰하기

업그레이드 간에 품질 저하가 이미 수집하고 있을 수 있는 숫자에 나타납니다. 인간에게 전달되는 요청 수, 평균 처리 시간, 시스템 초안이 직원들에 의해 수정되는 빈도, 같은 문제에 대한 반복 연락 등입니다. 이러한 지표 중 하나가 2주 안에 3~4점 상승하면 모델 계층에서 변경 사항을 살펴볼 필요가 있습니다.

한 사람이 매주 모델 버전과 생산 환경의 수치를 검토하는 임무를 맡기세요. 위원회나 분기 검토가 아닌, 지정된 소유자와 15분간의 점검입니다.

계약에 포함시키기

제공업체로부터 업그레이드 전에 서면 통지를 받고, 고정된 버전에 대한 최소 지원 기간 및 이전 버전으로의 접근 권한을 요청하세요. 규제 산업을 다루는 공급업체는 일반적으로 이를 제공합니다. 그렇지 않은 경우, 그들은 이를 알려줄 것이고, 이 정보는 피하기보다는 구축하기 전에 유용합니다.

정직한 입장

공급업체가 모델을 개선하는 것을 막을 수는 없지만, 원하는 방식으로 개선되도록 할 수 있습니다. 측정 가능하고 단계적이며 되돌릴 수 있고, 누군가 책임지는 것입니다.

피험자가 아닌 실제 운영 환경에서 AI를 실행하는 것은 이러한 무채색 작업이 필요하다는 것을 의미합니다. 클라이언트에게 이 작업을 맡기는 경우나 스스로 수행하는 경우 모두 골든 세트를 구축하세요. 모든 것이 그것에 달려 있습니다.