당신의 AI는 비행 기록 장치가 필요하고, 당신은 첫날에 그것을 만듭니다.
당신이 몇 달 후에도 모든 AI 출력을 설명할 수 있게 해주는 몇 안 되는 기록과 고객이 알아차리기 전에 품질 변동을 감지하는 능력.
인공지능 시스템의 출력: 투명성과 책임에 대한 탐구
인공지능(AI) 시스템이 생산 환경에 배포되면, 가장 먼저 직면하는 질문은 '어떻게 작동하는가'가 아닌 '왜 그런 답변을 했는가'라는 것이다. 고객이 인용문에 이의를 제기하거나, 감사가 어떻게 결정에 도달했는지를 묻고, 팀원이 이번 달 요약이 악화했다고 지적하지만 시작 시점을 말할 수 없을 때, 그 순간 당신은 기록의 소유자이거나 그렇지 않다. 이후 재실행은 오늘의 답변을 제공하지만, 이는 오늘날의 모델과 프롬프트, 데이터에 기반한 것이다. 이는 무엇도 증명하지 못한다.
로깅: 초기 결정
로깅은 1일 결정이다. 나중에 추가되더라도, 이는 이후의 사건만 포괄한다.
답변을 생성하는 여섯 가지 요소
인공지능(AI) 응답은 제한된 입력의 산물이다. 모든 것을 기록해라:
- 요청: 고유 ID, 시간 스탬프, 요청한 사람 또는 시스템, 제출된 텍스트 또는 데이터의 정확성.
- 컨텍스트: 시스템이 모델에 제공하고 처리한 모든 문서, 레코드 또는 행, 각각 개별적으로 식별되고 각 버전 포함.
- 지시사항: 프롬프트 템플릿과 런타임에서 조립된 내용, 그리고 템플릿의 버전.
- 모델: 정확히 모델 식별자, 가족 이름이 아닌, 사용 설정: 온도, 토큰 한계, 호출할 수 있는 도구 포함.
- 출력: 원시 응답(정화 전)과 처리된 버전(두 가지가 다를 경우).
- 결과: 다음에 무슨 일이 일어났는지: 사용자에게 표시, 클라이언트에게 이메일, 보험 청구 승인 등에 사용, 그리고 사람이 응답을 수락하거나 편집 또는 거부했는지 여부.
컨텍스트와 지시사항을 제거하면 대화 반쪽만 남는다. 시스템이 왜 그 답변을 합리적으로 내놓았는지 알 수 없다.
버전: 간과되는 부분
세 가지 사항은 인공지능(AI) 시스템 아래서 변경되지만, 누구도 변경 요청을 제출하지 않는다. 누군가 화요 오후에 프롬프트를 편집한다. 공급업체가 동일한 API 이름 아래 모델을 업데이트한다. 지식 기반이 재인덱싱되고 시스템이 같은 질문에 다른 문서를 검색하기 시작한다.
각각의 변화는 품질에 영향을 미칠 수 있고, 출력 로그에는 나타나지 않는다. 프롬프트, 모델, 데이터 인덱스 버전 식별자를 모든 호출에 기록하고, "좋은 주와 나쁜 주의 차이"를 몇 분 만에 답변할 수 있다. 이를 하지 않으면, 추측하며 기다리는 동안 한 주가 걸릴 수 있다.
인간의 교정: 가장 좋은 신호
사람이 AI 초안을 보내기 전에 편집하면, 정확하게 무엇이 잘못되었는지를 가장 구체적인 용어로 알려준다. 원본과 수정된 버전을 저장해라.
이를 하면 두 가지 결과가 따른다. 편집률은 품질 지표로 차트화할 수 있고, 불만 사항이 제기되기 전에 앞서 나간다. 그리고 교정들은 시스템을 개선하기 위한 예시 집합을 축적하게 된다. 이는 당신의 자체 작업에서 구축된 것이지, 구매하거나 발명된 것이 아니다.
드리프트: 비교, 경보가 아닌
출력이 악화되는 것을 알리는 것은 아무것도 없다. 악화는 점진적이고, 각 개별 답변은 타당해 보인다.
실용적인 방법은 실제 요청으로 구성된 고정된 집합을 유지하는 것이다(100개면 충분하며, 실제 트래픽에서 가져와서 당신의 이상한 경우를 포괄한다). 매달 같은 질문을 다시 실행하고 저장된 답변과 비교한다. 둘 다 다르다면, 사람이 두 가지를 읽고 더 나은 것을 선택한다. 이를 위해서는 입력을 기록해야 한다는 것이 전체 논점의 핵심이다.
그것을 이미 가지고 있는 숫자와 결합해라: 편집률, 거부율, 인간에게 상세 설명 요구, 시스템이 관련 문서를 찾지 못한 답변 비율. 이 마지막이 증가하는 것은 보통 데이터가 오래된 것이지, 모델이 나빠진 것이 아니다.
보존 및 삭제 정책 설정
이 로그에는 고객이 입력한 모든 것이 포함되어 있다. 이는 개인 데이터와 동일한 의무를 지닌다. 필드 분류, 읽을 필요 없는 부분 마스킹 또는 토큰화, 그리고 로그를 애플리케이션과 별도로 저장하여 한 시스템의 실패가 기록을 가져가지 않도록 하라.
보존 정책을 의도적으로 설정하라. 계약이나 규제 무게가 있는 결정의 경우, 노출 기간 동안 기록을 유지하고, 오직 추가만 가능한 저장소를 사용하여 누군가가 역사를 조용히 수정하지 못하도록 하라. 일상적인 트래픽의 경우, 더 짧고 저렴하다. 정책에 한 사람 이름 붙이라.
저장 비용은 저렴한 편이다. 비싼 부분은 로그를 처음부터 구축하는 것으로, 이는 당신이 신뢰할 수 있는 시스템을 증명할 때 필요한 것이다.