Mostrami dove si dice: Ricerca interna che risponde con ricevute

La citazione è il prodotto

Un assistente che risponde senza una fonte ha spostato il tuo lavoro, non l'ha rimosso. Devi ancora verificare e la verifica significa trovare il documento da solo, cosa che cercavi di evitare. Con un link alla clausola, alla pagina e alla versione, la verifica richiede quattro secondi e puoi andare avanti.

C'è una seconda ragione, più importante nel tempo. Una risposta non citata è incontrollabile. Se è sbagliata, non puoi dire se il documento di origine era sbagliato, obsoleto o correttamente letto e mal riassunto. Ognuna di queste ha una diversa correzione e un diverso responsabile. Le citazioni trasformano una vaga lamentele sull'AI in un biglietto specifico e risolvibile.

Cosa c'è sotto, senza il gergo

Tre parti. Una copia dei tuoi documenti, suddivisi in passaggi. Un passo di recupero che estrae la manciata di passaggi più probabili contenenti la risposta. Un modello che scrive la risposta utilizzando solo quei passaggi e ne cita i nomi.

Il modello non è addestrato sui tuoi dati e non li memorizza. Legge ciò che il recupero gli consegna, come un nuovo analista legge il file che gli metti sul tavolo. Cambiando un documento oggi, la risposta di domani cambierà di conseguenza. Rimuovendo l'accesso di qualcuno, le sue risposte si ridurranno di conseguenza.

L'industria chiama questo "retrieval-augmented generation". Ciò che devi trarre dal termine è commerciale, non tecnico: la parte costosa del progetto non è il modello. È il tuo documento.

Il lavoro è nei documenti

La maggior parte di questi progetti ha successo o fallisce nel corpus, prima che qualcuno scriva un prompt. Il lavoro ricorrente sembra così:

• Scegliere un corpus delimitato. Un dipartimento, uno scopo. "Tutto SharePoint" non è un corpus, è una discarica.
• Impostare i permessi in primo luogo, al recupero. Se una persona non può aprire il file, l'assistente non deve citarlo. Aggiungerlo retroattivamente è doloroso e, fino a quando non lo fai, il sistema è una perdita.
• Risolvere i duplicati. Sei modelli di contratto quasi identici produrranno sei risposte quasi identiche, e l'assistente non ha modo di sapere quale quella reale utilizzata dal reparto Risorse Umane. Segna la versione autorevole.
• Affronta i formati che resistono: i PDF scansionati richiedono OCR, le tabelle e le presentazioni perdono il loro significato quando appiattiti in testo, e i thread di email sono per lo più rumore.
• Assegna a ogni documento un proprietario e una data di revisione. Un assistente con citazioni rende visibile il contenuto obsoleto, a volte in modo scomodo.

Dove non aiuterà

Domande che richiedono conteggi o confronti su tutto l'archivio. "Quanti contratti rinnovano nel Q3" è una domanda di database travestita da ricerca, e il recupero risponderà con fiducia e sbagliato. Anche "qual è la nostra esposizione totale a questo fornitore". Inoltrale alla creazione di report.

Non può neanche rispondere a ciò che nessuno ha scritto giù. Se la regola di pricing vive nella testa di una sola persona, l'onesto output è che non c'è fonte. Un sistema che dice che non sa è corretto, e dovresti progettare per quella risposta piuttosto che penalizzarla.

Misura il terzo numero

Prendi da 50 a 100 domande reali dalle persone che useranno la cosa. Non inventatele. Poi misura tre percentuali: risposte con una citazione corretta, rifiutate per mancanza di fonte, e risposte sicure ma sbagliate.

Il terzo numero è l'unico che decide se il sistema viene utilizzato. Una risposta fabbricata con un link che non supporta costerà più fiducia di venti risposte utili. Spingilo verso zero, anche se ciò significa che l'assistente rifiuterà più spesso di quanto vorresti all'inizio.

Inizia con una scaffalatura, non con la biblioteca

Scegli un team con un insieme chiaro di documenti e una domanda che fanno settimanalmente. Otto settimane sono sufficienti ad avere qualcosa di reale nelle loro mani, comprese le impostazioni dei permessi. Espandi solo quando quel gruppo obietterebbe a perdere ciò che hanno.

Costruiamo questi per aziende di medie dimensioni, e il modello vale: quello stretto che cita le sue fonti viene utilizzato ogni giorno, e l'ambizioso che risponde a tutto viene silenziosamente abbandonato entro marzo.