내가 찾고 있는 것이 적혀 있는 곳을 보여줘: 내부 검색이 영수증으로 답변하는 것
자신의 문서에서 질문에 답하고 정확한 출처로 링크하는 내부 보조 프로그램을 만드는 방법과 실제로 그것을 작동하게 하는 것이 무엇인지.
포르투갈에서 부모 휴가 정책은 무엇입니까?
모든 회사는 누구도 빠르게 답변할 수 없는 몇 가지 핵심 질문에 의존합니다. 이러한 질문들은 다음과 같습니다:
- 우리는 이 공급업체와 NDA를 체결한 적이 있습니까?
- 지난해 이 클라이언트에게 견적을 제시했을 때 설치 서비스를 포함했습니까?
- 현재 어떤 버전의 안전 절차가 적용되고 있습니까?
사람들은 이러한 질문을 검색하는 대신 동료에게 물어봅니다. 왜냐하면 검색 결과는 40개의 문서가 나오고, 동료는 단 한 문장을 제공하기 때문입니다. 이 습관은 실제 시간을 소모하며 지식을 가장 오래 근무한 사람에게 집중시킵니다.
내부 보조원은 검색 상자가 아닌 질문에 답합니다. 단순한 언어로 질문하고, 문장과 함께 해당 문장이 출처된 단락에 대한 링크를 받습니다.
인용은 제품입니다
출처 없이 답변하는 보조원은 당신의 업무를 옮긴 것이지 제거한 것이 아닙니다. 여전히 검토해야 하며, 이는 스스로 문서를 찾아야 한다는 것을 의미합니다—이것이 피하려 했던 일입니다. 조항에 대한 링크, 페이지 및 버전을 제공하면 검토는 4초 만에 가능하며 다음 단계로 넘어갈 수 있습니다.
시간이 지남에 따라 더 중요한 두 번째 이유가 있습니다. 출처 없이 답변하는 것은 감사할 수 없습니다. 만약 답변이 틀렸다면, 출처 문서가 틀렸는지, 오래된 것인지, 또는 정확하게 읽혔지만 나쁘게 요약되었는지를 알 수 없습니다. 각각은 다른 수정과 다른 소유자를 필요로 합니다. 인용문은 모호한 AI 불만을 구체적이고 해결 가능한 티켓으로 바꿉니다.
저하된 부분, 전문 용어를 빼면
세 가지 부분이 있습니다:
- 문서의 사본, 문장으로 분할
- 검색 단계: 답변에 가장 관련성이 높은 몇 개의 문장 추출
- 모델이 해당 문장만 사용하여 답변 작성 및 문장 이름 지정
모델은 당신의 데이터로 훈련되지 않으며 이를 암기하지도 않습니다. 검색이 제공한 문서를 읽는 새로운 분석가처럼 모델은 검색이 제공하는 문서를 읽습니다. 오늘 문서를 변경하면 내일의 답변도 그에 따라 변경됩니다. 접근 권한을 제거하면 해당 답변의 범위도 줄어듭니다.
이 분야에서는 이를 검색 기반 생성이라고 부릅니다. 이 용어의 핵심은 상업적, 즉 비용 부분입니다: 모델이 아닌 당신의 문서가 프로젝트의 비싼 부분입니다.
작업은 문서에 있습니다
이러한 프로젝트 중 대부분은 코퍼스(corpus)에서 성공하거나 실패합니다—어떤 사람이 프롬프트를 작성하기 전에 말이죠. 반복적인 작업은 다음과 같습니다:
- 제한된 코퍼스 선택: 한 부서, 한 목적. "전체 SharePoint"는 매립지일 뿐, 코퍼스는 아닙니다.
- 검색 단계에서 권한 설정: 해당 파일을 열 수 없는 사람은 보조원이 인용하지 않도록 합니다. 이 설정을 후퇴시키는 것은 고통스럽고, 이를 하지 않으면 시스템은 누출됩니다.
- 중복 해결: 거의 동일한 계약 템플릿 6개가 출력되면, 답변도 거의 동일합니다. 보조원은 어떤 버전이 HR에서 실제로 사용되는지 알 수 없습니다. 권한 있는 버전을 표시합니다.
- 포맷이 저항하는 문서 처리: 스캔된 PDF는 OCR가 필요하고, 평평하게 변환된 텍스트로 잃어버린 의미의 스프레드시트 및 프레젠테이션, 이메일 스레드는 대부분 잡음입니다.
- 모든 문서에 소유자와 검토 날짜 지정: 출처를 명시하는 보조원은 오래된 콘텐츠를 드러내며, 때로는 불편할 수 있습니다.
도움이 되지 않는 부분
전체 아카이브에서 비교 또는 집계를 요구하는 질문: "3분기에 얼마나 많은 계약이 갱신됩니까?"는 데이터베이스 질문이 검색 질문의 옷을 입은 것입니다. 검색은 이를 자신 있게 잘못된 답변을 제공할 것입니다. "이 공급업체에 대한 총 노출은 얼마입니까?"도 마찬가지입니다. 이러한 질문은 보고로 라우팅해야 합니다.
또한, 아무도 기록하지 않은 질문에 답할 수도 없습니다. 가격 규정이 한 사람의 머릿속에 있다면, 정직한 출력은 소스가 없다는 것입니다. 시스템이 모르는 것은 올바르게 작동하고 있으며, 이 답변을 설계하는 대신 이를 처벌해서는 안 됩니다.
세 번째 숫자를 측정하십시오
실제 사용자들이 사용할 시스템을 만들기 위해 50~100개의 실제 질문을 수집하세요. 허구가 아닌 것들입니다. 그 후 다음 세 가지 비율을 측정합니다: 올바른 출처로 답변, 소스가 없는 경우, 그리고 자신 있게 잘못된 답변.
세 번째 숫자가 결정적인 요소는 오직 하나입니다. 심지어 20개의 도움이 되는 답변보다 한 개의 링크가 잘못된 출처를 제공하는 것이 더 많은 신뢰를 잃게 할 수 있습니다. 이를 제로에 가깝게 유지하세요.
서랍 하나부터 시작하십시오, 도서관은 아니요
한 팀과 명확한 문서 세트를 선택하고 그들이 매주 묻는 질문이 하나 있습니다. 8주 후면 실제 사용할 수 있는 시스템이 완성됩니다. 권한 작업만 완료되면 해당 그룹이 이를 거부할 경우 확장합니다.
우리는 이러한 시스템을 중소기업을 위해 구축하며, 패턴은 동일합니다: 출처를 명시하는 좁은 시스템은 매일 사용되며, 모든 것을 답변하는 야심 찬 시스템은 3월에 조용히 버려집니다.