質問は企業の根幹を成す
企業は、誰もすぐに答えられない小さな疑問セットに支えられています。例えば、「ポルトガルの育児休暇ポリシーは？」や「このサプライヤーとNDAを結んだことはありますか？」などです。昨年クライアントに提示した見積もりは？設置サービスを含みましたか？現在の安全手順のバージョンは？
人々はこれらの質問を検索で探すのではなく、同僚に尋ねます。なぜなら、検索結果には40の文書が表示され、同僚はたった1文を提供するからです。この習慣は実際の時間を浪費し、知識は最も長くその企業にいた人に集中します。
内部アシスタントは、検索ボックスではなく質問を解決します。あなたが平易な言葉で尋ねれば、その文と関連する文書へのリンクが得られます。
引用は製品である
ソースなしで回答するアシスタントは、あなたの仕事を奪ったのではありません。確認が必要です。そして確認とは、自分で文書を見つけることを意味します。それは避けようとしていたことです。条項へのリンク、ページ、バージョンがあれば、確認は4秒で完了し、次のタスクに進めます。
重要な2番目の理由があります。ソースなしの回答は監査できません。間違っていた場合、元の文書が誤りだったのか、時代遅れだったのか、正しく読まれて要約されたのかを判断できません。それぞれに異なる修正と責任者が必要です。引用は、AIに関する曖昧な不満を具体的な解決可能なチケットに変えます。
技術の裏側
これは3つの部分で構成されています。文書のコピー、文段に分割、関連する文段を抽出するリトリーバルステップ、そしてモデルが回答を生成し、そのソースを明記します。
モデルはあなたのデータで訓練されておらず、それを記憶することもありません。リトリーバルから渡された文書のみを読みます。新しい分析者がファイルを受け取るようなものです。今日文書を変更すれば、明日の回答もそれに合わせて変更されます。アクセス権限を取り消せば、回答範囲も狭まります。
業界ではこれを「リトリーバル強化生成」と呼びます。ここで重要なのは商業的な側面ではなく、技術的な側面ではありません。モデルは高価な部分ではなく、あなたの文書が最もコストがかかります。
仕事は文書にある
これらのプロジェクトの成功や失敗は、まず文書のコーパスで決まります。繰り返し行われる作業は以下の通りです：
- コーパスを制限する。1つの部門、1つの目的。「SharePoint全体」はコーパスではなく、ゴミ箱です。
- リトリーバル前に権限設定を行う。その人がファイルを開けない場合、アシスタントはその引用を表示しないようにします。後から設定すると、システムに漏れが生じます。
- 重複を解消する。ほぼ同一の契約テンプレート6つは、ほぼ同じ回答を生み出し、アシスタントはどのテンプレートが人事部によって実際に使用されているのかを知りようがありません。権限のあるバージョンをマークします。
- フォーマットに問題がある文書を処理する：スキャンされたPDFにはOCRが必要、スプレッドシートやスライドはテキスト化されると意味を失い、メールスレッドはほとんどがノイズです。
- 各文書に所有者とレビュー日付を設定する。引用付きのアシスタントは、古いコンテンツを明らかにし、時には不快なほどにします。
システムはすべての質問に応答できない
アーカイブ全体にわたる計算や比較が必要な質問には、システムは自信を持って間違った回答を提供します。「第3四半期に更新される契約の数は？」は、データベースの質問が検索の質問に化けたもので、リトリーバルでは正しく回答できません。「このベンダーに対する総露出度は？」も同様で、レポートに問い合わせてください。
また、誰も記録していない情報には答えられません。価格ルールが1人の頭の中にしか存在しない場合、正直な出力はソースがないということです。システムが知らないことを正しく認識しているのであれば、その回答を罰するのではなく、その答えを設計に組み込むべきです。
3番目の数字を測定する
実際のユーザーから50～100の質問を取り、そのうち正しい引用で回答された割合、ソースなしで拒否された割合、そして自信を持って間違った回答を提供した割合を測定します。
この3番目の数字がシステムの使用を決定します。1つの虚偽の回答は、20の役に立つ回答よりも多くの信頼を失う可能性があります。最初は回答を拒否する割合が高い方が良いですが、最終的には改善していきます。
図書館ではなく棚から始めよう
明確な文書セットを持つチームを1つ選び、毎週同じ質問をするようにします。8週間で何らかの現実的な成果が得られるでしょう。そのグループが文句を言うまで、範囲を広げないでください。
私たちは中規模企業向けにこれらのシステムを構築しています。パターンは常に同じです。引用付きでソースを明記したシステムは毎日使用されますが、あらゆる質問に答えられる野心的なシステムは3月までに静かに放棄されるでしょう。