Vis mig hvor der står det: Intern søgning, der svarer med kildehenvisning

Enhver virksomhed kører på et lille sæt spørgsmål, som ingen kan besvare hurtigt. Hvad er vores barselspolitik i Portugal. Har vi nogensinde underskrevet en fortrolighedsaftale med denne leverandør. Hvad gav vi den her kunde i tilbud sidste år, og var installation regnet med. Hvilken version af sikkerhedsproceduren er den gældende.

Folk søger ikke efter det her. De spørger en kollega, for søgningen giver fyrre dokumenter, og kollegaen giver én sætning. Den vane koster reelle timer, og den samler viden hos den, der har været der længst.

En intern assistent løser spørgsmålet, ikke søgefeltet. Du spørger i almindeligt sprog og får sætningen, plus et link til det afsnit, den kom fra.

Kildehenvisningen er produktet

En assistent, der svarer uden kilde, har flyttet dit arbejde, ikke fjernet det. Du skal stadig tjekke efter, og at tjekke efter betyder selv at finde dokumentet, hvilket var netop det, du ville undgå. Med et link til bestemmelsen, siden og versionen tager kontrollen fire sekunder, og så går du videre.

Der er en anden grund, og den vejer tungere med tiden. Et svar uden kilde kan ikke revideres. Når det er forkert, kan du ikke afgøre, om kildedokumentet var forkert, forældet, eller læst korrekt og opsummeret dårligt. Hver af de tre har en forskellig løsning og en forskellig ejer. Kildehenvisninger gør en løs klage over AI'en til en konkret sag, der kan lukkes.

Hvad der ligger nedenunder, uden fagsproget

Tre dele. En kopi af jeres dokumenter, opdelt i tekststykker. Et opslagstrin, der henter den håndfuld tekststykker, der med størst sandsynlighed indeholder svaret. En model, der skriver svaret alene ud fra de tekststykker og navngiver dem.

Modellen er ikke trænet på jeres data og husker dem ikke. Den læser det, opslaget rækker den, sådan som en ny analytiker læser den mappe, du lægger på skrivebordet. Ændrer I et dokument i dag, ændrer morgendagens svar sig med det. Fjerner I nogens adgang, indsnævres deres svar tilsvarende.

Branchen kalder det retrieval-augmented generation. Det, du skal tage med fra betegnelsen, er kommercielt, ikke teknisk: den dyre del af projektet er ikke modellen. Det er jeres dokumenter.

Arbejdet ligger i dokumenterne

De fleste af den slags projekter lykkes eller mislykkes i dokumentsamlingen, før nogen overhovedet skriver en prompt. Det tilbagevendende arbejde ser sådan ud:

• Vælg en afgrænset dokumentsamling. Én afdeling, ét formål. "Hele SharePoint" er ikke en samling, det er en losseplads.
• Byg rettigheder ind fra start, i selve opslaget. Kan en person ikke åbne filen, må assistenten ikke citere den. At sætte det ind bagefter er smertefuldt, og indtil I gør det, er systemet en læk.
• Ryd op i dubletter. Seks næsten ens kontraktskabeloner giver seks næsten ens svar, og assistenten har ingen mulighed for at vide, hvilken HR faktisk bruger. Markér den gældende version.
• Håndtér de formater, der gør modstand: scannede PDF'er kræver OCR, regneark og præsentationer mister deres mening, når de fladtrykkes til tekst, og mailtråde er mest af alt støj.
• Giv hvert dokument en ejer og en revisionsdato. En assistent med kildehenvisninger gør forældet indhold synligt, undertiden ubehageligt synligt.

Hvor den ikke hjælper

Spørgsmål, der kræver optælling eller sammenligning på tværs af hele arkivet. "Hvor mange kontrakter fornys i tredje kvartal" er et databasespørgsmål forklædt som et søgespørgsmål, og opslaget vil besvare det selvsikkert og forkert. Det samme gælder "hvad er vores samlede eksponering over for denne leverandør". Send den slags til rapporteringen.

Den kan heller ikke svare på det, ingen har skrevet ned. Hvis prisreglen bor i hovedet på én person, er det ærlige output, at der ikke findes nogen kilde. Et system, der siger, at det ikke ved det, fungerer korrekt, og I bør designe efter det svar frem for at straffe det.

Mål det tredje tal

Tag halvtreds til hundrede virkelige spørgsmål fra de folk, der skal bruge tingen. Ikke opfundne. Mål så tre procentdele: besvaret med en korrekt kildehenvisning, afvist på grund af manglende kilde, og besvaret selvsikkert, men forkert.

Det tredje tal er det eneste, der afgør, om systemet bliver brugt. Ét opdigtet svar med et link, der ikke understøtter det, koster jer mere tillid, end tyve nyttige svar kan indtjene. Pres det mod nul, også selv om det betyder, at assistenten i begyndelsen afviser oftere, end I bryder jer om.

Start med én hylde, ikke hele biblioteket

Vælg ét team med et klart afgrænset dokumentsæt og et spørgsmål, de stiller hver uge. Otte uger er nok til at have noget virkeligt i hænderne på dem, rettighedsarbejdet inkluderet. Udvid først, når den gruppe ville protestere over at miste det.

Vi bygger den slags for mellemstore virksomheder, og mønstret holder: den snævre, der henviser til sine kilder, bliver brugt hver dag, og den ambitiøse, der svarer på alt, bliver stille og roligt opgivet inden marts.