Arată-mi unde se menționează asta: Căutare internă care răspunde cu chitanțe

Politicile de citare: o abordare bazată pe documente

În fiecare companie există un set mic de întrebări care nu pot fi răspunse rapid. De exemplu, "Care este politica noastră de concediu parental în Portugalia?" sau "Am semnat vreodată un acord de nedivulgare (NDA) cu acest furnizor?" - toate aceste întrebări necesită o căutare detaliată.

Oamenii nu caută de obicei aceste informații; ei întreabă un coleg, deoarece rezultatele căutării pot include zeci de documente, iar colegul oferă doar o singură frază relevantă. Această obișnuință costă ore prețioase și concentrează cunoștințele în mâinile celor care au fost implicați cel mai mult.

Un asistent intern rezolvă problema, nu caseta de căutare. Dacă întrebi într-un limbaj clar, vei primi fraza dorită, împreună cu un link către paragraful din care provine.

Citarea: cheia pentru încredere

Un asistent care răspunde fără o sursă mută responsabilitatea și nu elimină informațiile; încă mai trebuie să verifici sursa. Verificarea implică găsirea documentului în sine, ceea ce era scopul inițial de a evita această abordare. Cu un link către clauza, pagina și versiunea respectivă, verificarea durează patru secunde și poți continua.

Există o a doua motivare, una pe termen lung: un răspuns necitat este neauditat. Dacă informația este greșită, nu poți determina dacă sursa era incorectă, depășită sau citată în mod incorect. Fiecare dintre aceste situații necesită o soluție diferită și un responsabil diferit. Citarea transformă o plângere vagă despre AI într-un bilet specific, rezolvabil.

Procesul din spatele scenei

În esență, există trei componente:

O copie a documentelor tale, împărțită în pasaje.
Un pas de recuperare care identifică pasajele cele mai relevante pentru răspuns.
Un model care generează răspunsul folosind doar aceste pasaje și le atribuie sursa.

Modelul nu este antrenat pe datele tale și nu le memorizează; citește ce i se oferă la recuperare, așa cum un analist nou ar citi fișierul primit pe birou. Modificările aduse documentelor astăzi vor influența răspunsurile de mâine. Restricționarea accesului va limita, de asemenea, răspunsurile relevante pentru utilizatori.

Industria numește această abordare "generare augmentată prin recuperare". Aspectul comercial este cel mai important: partea costisitoare a proiectului nu este modelul, ci documentele tale.

Succesul și eșecul în corpus

Majoritatea proiectelor de acest fel se bazează pe calitatea corpusului înainte ca vreun prompt să fie scris. Iată pașii obișnuiți:

Alege un corpus limitat, specific unui departament sau unei scopuri. "Toate documentele din SharePoint" nu reprezintă un corpus, ci mai degrabă o groapă de gunoi.
Configură permisiunile la recuperare; dacă o persoană nu are acces la fișier, asistentul nu va cita informațiile respective. Adaptarea retroactivă a acestei configurări este dureroasă și, până când este realizată, sistemul va rămâne un punct slab.
Rezolvă duplicatele; șase modele de contracte similare vor genera răspunsuri identice, iar asistentul nu va ști care este versiunea autoritară.
Tratează formatele rezistente: PDF-urile scanate necesită OCR, fișierele spreadsheet și prezentările pierd sensul atunci când sunt transformate în text, iar firele de e-mail conțin adesea zgomot.
Atribuie fiecărui document un proprietar și o dată de revizuire. Un asistent cu citări va evidenția conținutul depășit, uneori neplăcut.

Limitările abordării

Această metodă nu va răspunde la întrebări care necesită compararea sau numărarea pe întregul arhiv. De exemplu, "Câte contracte se reînnoiesc în trimestrul III?" este o întrebare bazată pe o bază de date prezentată ca o căutare, iar recuperarea va oferi un răspuns sigur, dar greșit. La fel și cu întrebări precum "Care este expunerea totală față de acest furnizor?". Redirecționează aceste întrebări către rapoarte.

De asemenea, nu poate răspunde la întrebări care nu au fost documentate. Dacă regula de prețuri există doar în mintea unei persoane, răspunsul onest va fi că sursa lipsește. Un sistem care recunoaște lipsa de informații este corect și ar trebui să proiectezi răspunsurile în consecință, mai degrabă decât să pedepsești asistentul pentru asta.

Măsoară al treilea număr

Alege 50-100 de întrebări reale din partea utilizatorilor finali. Apoi, măsoară trei procente: răspunsuri cu citare corectă, refuzuri din cauza lipsei sursei și răspunsuri încrezătoare, dar greșite.

Al treilea procentaj este cel mai important; el determină dacă sistemul va fi adoptat sau nu. Un singur răspuns fabricat cu un link incorect poate eroda mai mult încrederea decât 20 de răspunsuri utile. Împinge acest număr cât mai aproape de zero, chiar dacă asta înseamnă ca asistentul să refuze mai des decât ți-ai dori inițial.

Începe cu o singură raftă, nu cu întreaga bibliotecă

Alege o echipă cu un set clar de documente și o întrebare pe care o pun săptămânal. Opt săptămâni sunt suficiente pentru a avea ceva tangibil în mâini, inclusiv configurarea permisiunilor. Extinde-te doar atunci când acea echipă ar fi în dezacord să piardă accesul la aceste documente.

Construim astfel de sisteme pentru companii de dimensiuni medii, iar modelul rămâne același: sistemul care citează sursele sale devine utilizat zilnic, în timp ce ambiția de a răspunde la orice întrebare este abandonată tăcut până în martie.