Pokaż mi, gdzie jest napisane: wyszukiwanie wewnętrzne, które odpowiada na podstawie faktur.
Jak zbudować wewnętrznego asystenta, który odpowiada na pytania z własnych dokumentów i łączy je z dokładnym źródłem, oraz co faktycznie sprawia, że działa.
Cytowanie to produkt
Asystent, który odpowiada bez podania źródła, przenosi Twoją pracę, a nie usuwa jej. Nadal musisz sprawdzić, co oznacza znalezienie dokumentu samodzielnie - to właśnie chciałeś uniknąć. Dzięki linkowi do klauzuli, strony i wersji sprawdzenie trwa cztery sekundy i możesz przejść dalej.
Istnieje też druga, ważniejsza z czasem przyczyna. Odpowiedź bez cytowania jest niezgodna z zasadami. Gdy jest błędna, nie możesz stwierdzić, czy źródłowy dokument był nieprawidłowy, przestarzały, czy poprawnie odczytany i źle podsumowany. Każdy z tych przypadków wymaga innego rozwiązania i innej osoby odpowiedzialnej. Cytowanie zamienia niejasne skargi na AI w konkretne, zamykalne bilety.
Co kryje się za tym, bez żargonu
Trzy części: kopia Twoich dokumentów, podzielona na fragmenty; krok pobierania, który wyciąga garść fragmentów najprawdopodobniej zawierających odpowiedź; model, który pisze odpowiedź używając tylko tych fragmentów i wymienia ich nazwy.
Model nie jest trenowany na Twoich danych i ich nie zapamiętuje. Przeczyta, co poda mu proces pobierania, tak jak nowy analityk czyta plik umieszczony na jego biurku. Zmiana dokumentu dzisiaj oznacza, że jutro odpowiedź zmieni się wraz z nim. Usunięcie dostępu do dokumentów ogranicza odpowiedzi w zależności od osoby.
Branża nazywa to wzmacnianym generowaniem pobierania. Kluczowe jest tu słowo "komercyjne", a nie techniczne: najdroższa częścią projektu nie jest model, ale Twoje dokumenty.
Praca tkwi w dokumentach
Większość takich projektów odnosi sukces lub porażkę na etapie korpusów, zanim ktoś napisze nawet jedno polecenie. Powtarzająca się praca wygląda następująco:
- Wybierz ograniczony korpus. Jeden dział, jeden cel. "Cały SharePoint" nie jest korpusem, to wysypisko.
- Najpierw skonfiguruj uprawnienia w procesie pobierania. Jeśli osoba nie ma dostępu do pliku, asystent nie powinien go cytować. Dopasowanie tego później jest bolesne i, dopóki tego nie zrobisz, system będzie wyciekał.
- Rozwiąż duplikaty. Szesnaście niemal identycznych szablonów umów da sześć niemal identycznych odpowiedzi, a asystent nie ma sposobu, by określić, który z nich faktycznie używa dział HR. Oznacz wersję autorytetową.
- Rozwiąż problemy z formatami, które opierają się: skanowane PDF-y wymagają OCR, arkusze kalkulacyjne i prezentacje tracą sens po spłaszczeniu do tekstu, a wątki e-maili to w większości szum.
- Przypisz każdemu dokumentowi właściciela i datę przeglądu. Asystent z cytowaniami ujawnia starzejące się treści, czasami w niekomfortowy sposób.
Gdzie taka technologia nie pomoże
Pytania wymagające porównywania lub liczenia na całej archiwach. "Ile umów odnawia się w III kwartale" to pytanie bazodanowe przebrane za pytanie wyszukiwawcze, a proces pobierania z pewnością da na nie pewną, błędną odpowiedź. Tak samo "jaka jest nasza całkowita ekspozycja na tego dostawcę". Przekaż te pytania do raportowania.
Nie może również odpowiedzieć na pytania, których nikt nie zapisał. Jeśli reguła cenowa żyje tylko w głowie jednej osoby, uczciwym wynikiem będzie informacja, że nie ma źródła. System, który mówi, że nie wie, działa poprawnie, a powinieneś zaprojektować tę odpowiedź, zamiast karć ją za brak wiedzy.
Zmierz trzecią liczbę
Weź od 50 do 100 prawdziwych pytań od osób, które będą używać narzędzia. Nie wymyślaj ich. Następnie zmierz trzy procenty: odpowiedzi z poprawnym cytatem, odrzuconych z powodu braku źródła i pewnych, ale błędnych odpowiedzi.
Trzecia liczba jest jedyną, która decyduje o tym, czy system zostanie wykorzystany. Jedno sfałszowane rozwiązanie z linkiem niepopierającym go może kosztować więcej zaufania niż dwadzieścia pomocnych odpowiedzi. Zmniejsz tę liczbę do zera, nawet jeśli oznacza to, że asystent będzie odrzucał pytania częściej niż chciałbyś na początku.
Zacznij od jednej półki, nie od całej biblioteki
Wybierz jeden zespół z jasno określonym zestawem dokumentów i pytaniem, które zadają co tydzień. Osiem tygodni wystarczy, by mieć coś rzeczywistego w ręku, włącznie z pracą nad uprawnieniami. Rozszerzaj się tylko wtedy, gdy ten zespół miałby zastrzeżenia do utraty dostępu do swoich dokumentów.
Budujemy takie systemy dla średnich firm, a wzór jest taki sam: wąski, który cytuje swoje źródła, jest codziennie używany, a ambitny, który odpowiada na wszystko, zostaje cicho porzucony w marcu.