如何比较 RAG 开发服务商:该问什么,附一条真实检索记录
Neaptide · 2026年10月12日 · 10 分钟阅读
Neaptide 检索记录覆盖 542 个段落,来源段落在三个结果中排第一。向 RAG 服务商索取同样的证据:检索、答案依据、权限与时效性。
本文目录

如何比较 RAG 开发公司?
比较 RAG 开发公司,要看它们能在您自己的文档上拿出什么证据。在 Neaptide 2026 年 10 月 7 日的检索记录中,从四个服务页面的 542 个段落里,R04 的参考段落在检索出的三个片段中排名第一。请每家服务商用您的问题提供同样的记录,并分别给出四项结果:检索、答案依据、权限和时效性。
- 八项要求让 RAG 方案可以横向比较:检索记录、单独的检索结果、基于您文档的测试、权限检查、时效规则、无答案问题的处理、列明的交接内容和书面约定的支持。
- 四项结果应分开报告:检索、答案依据、权限和时效性。单一的“准确率”会掩盖究竟是哪一环出了问题。
- 签约前做六项测试:检索记录、参考段落的排名、受限角色、过时文档、无答案问题和交接演练。
- 在 R04 记录中(2026 年 10 月 7 日,四个公开服务页面),Neaptide 公布的 GEO 审计价格 $825–1,650 在检索出的前三个片段中排名第一。
RAG(retrieval-augmented generation,检索增强生成)是一种构建助手的方式:先从经批准的文档中检索相关段落,再交给语言模型,使每个回答都能对照来源核查。RAG 服务商负责围绕您的文档设计检索、回答规则和权限检查。
聘用 RAG 服务商之前应提出哪些要求?
聘用 RAG 服务商之前,应提出八项要求,每一项您都能自己核查。下表列出该要什么、如何核查,以及哪种回答应引起警惕。对入围的每家服务商使用同样的行,方案就能逐项比较。
| 要求 | 如何核查 | 合格 | 危险信号 |
|---|---|---|---|
| 检索记录 | 要求提供从您的一个真实问题到检索段落的记录;如果系统生成回答,还要追溯到回答 | 每个检索段落都带有来源 URL 或文档 ID 以及版本 | 只展示最终回答,没有检索段落 |
| 单独的检索结果 | 询问参考段落是否进入了模型输入、排在第几位 | 检索结果和答案依据分开报告 | 用一个总体准确率同时概括两者 |
| 基于您文档的测试 | 索取评估集:真实问题、标注的参考段落和已批准来源的版本 | 问题来自您的业务流程,每个问题都有标注的参考段落 | 结果只来自演示文档或公开文档 |
| 权限检查 | 分别以普通用户和受限角色提出同一个问题 | 受限内容从不出现在普通用户的检索段落中 | 声称有访问控制,但只在公开内容上测试过 |
| 时效与删除 | 在测试中加入一份过时流程和一份已删除文档 | 检索到的是现行版本;更新、删除和撤销访问的方式有书面说明 | 没有规定更新频率和删除规则 |
| 无答案问题 | 提一个文档中没有答案的问题 | 助手按约定规则拒答或转交人工 | 服务商声称助手能回答所有问题 |
| 列明的交接内容 | 索取交接清单 | 列出应用代码、配置、提示词、数据导入任务、评估文件和运维说明;第三方许可单独列出 | 交接只用一句“数据归您所有”带过 |
| 书面约定的支持 | 询问验收后由谁维护系统、条件是什么 | 支持有指定负责人、书面范围和单独协议 | 默认会有支持,但任何协议中都没有写明 |
我们的服务商简报把这些行变成待填字段:七个范围问题、六项验收证据和三行交接内容。把同一份简报发给每家服务商,再比较填好的答案。
如何在多份 RAG 方案之间做选择?
在多份 RAG 方案之间做选择时,按固定顺序执行相同的检查,在方案未通过的第一项处停下。前四项检查会淘汰无法评估的方案;只有剩下的方案才值得比较价格。遇到第一条符合的情况即停:
- 如果服务商无法把您的某个问题追溯到来源段落,请先要求提供这条记录,再继续。
- 如果评估只用了演示文档或公开文档,请要求用您已批准文档的脱敏样本进行测试。
- 如果权限只在公开内容上测试过,请要求分别以普通角色和受限角色提出同一个问题。
- 如果交接内容没有列明代码、配置、提示词、数据导入任务、评估文件和运维说明,请在签约前把清单定下来。
- 如果四项检查全部通过,再按相同范围比较报价:来源数量与质量、权限复杂度、集成、托管限制和评估覆盖面。
服务商在看到您的文档之前就承诺准确率百分比,是一个危险信号。准确率取决于验收集中的问题和来源,因此应写进验收标准。
RAG 服务商应分别报告哪些结果?
RAG 服务商应分别报告四项结果:检索、答案依据、权限和时效性。每类失败的修正方法不同:如果现行文档根本没有被检索到,要修的是检索;如果模型忽略了已收到的段落,要修的是回答规则。
- 检索:标注的参考段落是否出现在传给模型的片段中,排在第几位。
- 答案依据:生成的回答是否只陈述检索段落支持的内容,并显示来源。
- 权限:每个角色是否只能检索到其有权打开的文档。
- 时效性:更新、删除或撤销访问的文档在约定的刷新后是否不再出现。
请索取这四项结果背后的证据包:已批准来源的版本、带标注参考段落的问题、带来源 ID 的检索段落、系统生成回答时的实际回答,以及本次运行所用的配置。验收报告还应列出失败和被排除的用例,并保留一组单独的问题供以后测试。
Neaptide 自己的检索记录显示了什么?
2026 年 10 月 7 日,在 Neaptide 选取的 R04 记录中,公布的单独 GEO 审计价格 $825–1,650 在检索出的前三个片段中排名第一,并保留了来源 URL 和周边条款。Neaptide 是一家网络推广工作室,也为企业落地 AI;这次检索覆盖从四个在线英文服务页面提取的 542 个段落。本次只测试检索:没有语言模型生成回答,单个选取案例也不构成准确率。
R04 记录用了哪个问题和哪个来源?
R04 记录提出的问题是“How much is the standalone Neaptide GEO audit?”(单独购买 Neaptide GEO 审计要多少钱),检索范围是 2026 年 10 月 7 日保存的四个 Neaptide 服务页面:SEO、GEO、网站开发和 AI 实施。标注的参考句是 GEO 服务页面上的“A standalone audit costs $825–1,650”。问题集中的每个问题都针对一项已公布的服务,回答该问题的段落被标注为参考段落。
检索器对 R04 返回了什么?
对于 R04,检索器把 GEO 服务页面上包含参考句的段落排在第一位。下表把每个记录字段对应到 RAG 服务商应为每个验收用例保留的证据。
| 字段 | R04 中的值 | 应向服务商要求 |
|---|---|---|
| 问题 ID | R04 | 每个验收问题都有稳定的 ID |
| 来源 | https://www.neaptide.ai/en/services/geo | 每个检索段落都带来源 URL 或文档 ID |
| 文档版本 | 所保存 HTML 的 SHA-256 哈希值 | 能说明检索的是哪一份副本的版本号或哈希值 |
| 排名 | 前 3 个片段中的第 1 位 | 参考段落的排名以及传给模型的片段数量 |
| 上下文 | 锚定段落加上同一页面内前后各一个相邻段落 | 切分规则,以便审核者知道模型收到了哪些文本 |
| 返回文本 | 已在记录文件中公开 | 检索出的原文本身,便于直接核查结果 |
| 选取方式 | 从更大规模探索性研究中选出的一个成功案例;不是汇总基准 | 书面说明所展示的用例是如何选出的 |
检索器采用 BM25 类词法排序(k1 = 1.2,b = 0.75),不做重排序,返回前三个片段。来源 URL 和原始 HTML 的哈希值随每个片段一起保存。
为什么检索到的价格必须保留周边条款?
只有当同一段落说明了价格属于哪项服务、不包含什么时,检索到的价格才可用。在 R04 片段中,$825–1,650 的单独审计与 Core(每月 $1,650–2,475)和 Growth(每月 $2,475–3,300)的月度价格区间相邻,均不含税费和约定的额外工作。借助这些相邻句子,审核者可以确认该价格属于一次性审计,而不是月度方案。
在您自己的评估中,要求服务商为每个检索段落保留文档标识、版本和相关的上下文。然后单独检查回答:回答必须指向正确的服务,并保留使陈述成立的条件。
签订 RAG 合同前应测试什么?
签订 RAG 合同前,进行六项测试,每项都书面约定通过条件。在您的文档样本上前三项中任何一项未通过的方案,还不到比较价格的时候。
- 检索记录:您的一个真实问题能追溯到带来源 ID 和版本的检索段落;如果记录从回答开始,则不通过。
- 参考段落排名:标注的参考段落落在声明的片段数量之内(R04 用的是前三个);如果服务商说不出这个数量,则不通过。
- 受限角色:普通用户提出同一问题时,不返回任何受限文档的段落;哪怕泄露一次也不得上线。
- 过时文档:测试中包含一份已被取代的流程;只有检索到现行版本或标出冲突才算通过。
- 无答案问题:对文档中没有答案的问题,按约定规则拒答或转交人工;任何编造的回答都不通过。
- 交接演练:另一个团队按照运维手册和交接文件部署系统;如果将由您的团队维护系统,请把这一项纳入验收。
公开的 R04 记录只在公开内容上覆盖了第 1、2 项测试;第 3–6 项需要来自实际项目环境及其用户角色的证据。
RAG 系统交接应包含什么?
RAG 系统交接应列明六项内容:应用代码、配置、提示词、数据导入任务、评估文件和运维说明。第三方组件、托管模型服务和供应商平台有各自的许可和订阅,应单独列出,因为服务商无法把它们当作自有代码转让。
运维讲解应涵盖来源更新、权限变更、请求失败以及报告错误回答的途径。后续支持需另签协议,明确负责人和范围;请在比较总成本之前把它写进书面文件。
索取 RAG 报价前应准备什么?
索取 RAG 报价前,准备三样东西:已批准的文档、用户角色,以及助手所服务流程中反复出现的问题。初步沟通时,脱敏样本和角色清单就足够;在访问方式约定之前,机密文档应留在您批准的环境中。确定范围的第一步,是明确哪些来源具有权威性、合格的回答必须展示什么。