
问题是知识的源泉
每家公司都会面临一系列没有人能快速回答的问题:我们在葡萄牙的育儿假政策是什么?我们是否与这家供应商签署了保密协议(NDA)?去年我们给这个客户报价时是否包括安装?当前安全程序的版本是哪个?
人们不会搜索这些问题。他们会向同事询问,因为搜索结果会显示四十份文档,而同事却只提供一句话。这种习惯会浪费宝贵的时间,并且知识集中在最长时间在岗的人身上。
一个内部助理解决了这个问题,而不是改进搜索框。你用简单明了的语言提问,就能得到这句话以及来自相关段落的链接。
引文是产品
一个没有来源的回答会转移你的精力,而不是消除它。你仍然需要核实,而核实意味着自己找到文档——这正是你试图避免的事情。带有条款、页面和版本的链接,核实只需四秒钟,然后你就可以继续前进。
还有一个更重要的原因,随着时间的推移变得更加明显。没有引用的回答是无法验证的。如果答案错误,你就无法确定源文档是否出错了、过时了,还是被正确阅读但总结不准确。每种情况都有不同的纠正措施和责任人。引文将对AI的模糊投诉转变为具体的、可解决的工单。
背后的原理,没有专业术语
它由三个部分组成:你的文档的副本,分为段落;一个检索步骤,用于提取最可能包含答案的几个段落;一个模型,使用这些段落写出答案并标明来源。
该模型没有在你的数据上进行训练,也不会记住它。它只读取检索给它的内容,就像新分析师阅读你放在他们桌上的文件一样。今天你更改文档,明天的回答也会相应更新。如果移除某人的访问权限,他们的回答范围也会相应缩小。
这个行业称之为“检索增强生成”。你需要从这个术语中理解的商业层面,而不是技术层面:项目中最昂贵的部分不是模型。是你的文档。
工作体现在文档中
这些项目的成败在很大程度上取决于文档,在任何人编写提示之前。重复的工作如下:
- 选择一个有界限的文档集。一个部门、一个目的。“所有SharePoint”不是一个文档集,而是一个垃圾场。
- 在检索阶段首先设置权限。如果某人无法打开文件,助理就不应引用它。回装这个功能会非常痛苦,直到你这样做,系统就会存在漏洞。
- 处理重复的文档。六份几乎相同的合同模板会产生六份几乎相同的答案,而助理没有办法知道HR实际使用的哪一个。标记权威版本。
- 处理难以转换的格式:扫描PDF需要OCR,将表格和幻灯片转换成文本时会失去意义,电子邮件线程大多是噪声。
- 为每个文档设置所有者和审核日期。带有引用的助理会暴露过期内容,有时会令人不适。
它无法解决的问题
需要在整个档案中进行计数或比较的问题:"多少份合同在第三季度到期"是一个数据库问题伪装成搜索问题,检索将自信而错误地回答它。“我们对这个供应商的总暴露量是多少”也同样如此。将这些问题转交给报告系统。
它也无法回答没有记录下来的问题。如果定价规则只在某人的脑海中存在,诚实的输出是没有来源的。一个承认自己不知道的系统正在正确运行,你应该设计这个答案而不是惩罚它。
测量第三个数字
选择50到100个真实的问题,来自将使用该工具的人群。不是虚构的问题。然后测量三个百分比:用正确引用回答的问题、因没有来源而拒绝的问题以及自信但错误回答的问题。
第三个数字是决定系统是否被使用的唯一因素。一个带有链接但不支持它的虚假答案会比二十个有帮助的答案赢得更多的信任。将这个数字降到最低,即使这意味着助理更频繁地拒绝回答。
从一把书架开始,而不是整个图书馆
选择一个有清晰文档集和一个每周都会提出问题的一个团队。八周时间足以让他们拥有实实在在的工具,包括权限设置工作。只有当该组对失去它表示异议时再扩展。
我们为中型公司构建这些工具,模式保持一致:一个引用来源并得到日常使用的紧凑工具,而一个试图回答一切的雄心勃勃的工具则在3月份被悄然放弃。