跳到正文
Neaptide工作室
博客

如何比较 RAG 开发服务商:该问什么,附一条真实检索记录

Neaptide · 2026年10月12日 · 10 分钟阅读

Neaptide 检索记录覆盖 542 个段落,来源段落在三个结果中排第一。向 RAG 服务商索取同样的证据:检索、答案依据、权限与时效性。

本文目录
RAG:542 个段落的语料和前三个检索结果,参考段落 R04 排名第一。

如何比较 RAG 开发公司?

比较 RAG 开发公司,要看它们能在您自己的文档上拿出什么证据。在 Neaptide 2026 年 10 月 7 日的检索记录中,从四个服务页面的 542 个段落里,R04 的参考段落在检索出的三个片段中排名第一。请每家服务商用您的问题提供同样的记录,并分别给出四项结果:检索、答案依据、权限和时效性。

  • 八项要求让 RAG 方案可以横向比较:检索记录、单独的检索结果、基于您文档的测试、权限检查、时效规则、无答案问题的处理、列明的交接内容和书面约定的支持。
  • 四项结果应分开报告:检索、答案依据、权限和时效性。单一的“准确率”会掩盖究竟是哪一环出了问题。
  • 签约前做六项测试:检索记录、参考段落的排名、受限角色、过时文档、无答案问题和交接演练。
  • 在 R04 记录中(2026 年 10 月 7 日,四个公开服务页面),Neaptide 公布的 GEO 审计价格 $825–1,650 在检索出的前三个片段中排名第一。

RAG(retrieval-augmented generation,检索增强生成)是一种构建助手的方式:先从经批准的文档中检索相关段落,再交给语言模型,使每个回答都能对照来源核查。RAG 服务商负责围绕您的文档设计检索、回答规则和权限检查。

聘用 RAG 服务商之前应提出哪些要求?

聘用 RAG 服务商之前,应提出八项要求,每一项您都能自己核查。下表列出该要什么、如何核查,以及哪种回答应引起警惕。对入围的每家服务商使用同样的行,方案就能逐项比较。

比较 RAG 服务商的八项要求
要求如何核查合格危险信号
检索记录要求提供从您的一个真实问题到检索段落的记录;如果系统生成回答,还要追溯到回答每个检索段落都带有来源 URL 或文档 ID 以及版本只展示最终回答,没有检索段落
单独的检索结果询问参考段落是否进入了模型输入、排在第几位检索结果和答案依据分开报告用一个总体准确率同时概括两者
基于您文档的测试索取评估集:真实问题、标注的参考段落和已批准来源的版本问题来自您的业务流程,每个问题都有标注的参考段落结果只来自演示文档或公开文档
权限检查分别以普通用户和受限角色提出同一个问题受限内容从不出现在普通用户的检索段落中声称有访问控制,但只在公开内容上测试过
时效与删除在测试中加入一份过时流程和一份已删除文档检索到的是现行版本;更新、删除和撤销访问的方式有书面说明没有规定更新频率和删除规则
无答案问题提一个文档中没有答案的问题助手按约定规则拒答或转交人工服务商声称助手能回答所有问题
列明的交接内容索取交接清单列出应用代码、配置、提示词、数据导入任务、评估文件和运维说明;第三方许可单独列出交接只用一句“数据归您所有”带过
书面约定的支持询问验收后由谁维护系统、条件是什么支持有指定负责人、书面范围和单独协议默认会有支持,但任何协议中都没有写明

我们的服务商简报把这些行变成待填字段:七个范围问题、六项验收证据和三行交接内容。把同一份简报发给每家服务商,再比较填好的答案。

如何在多份 RAG 方案之间做选择?

在多份 RAG 方案之间做选择时,按固定顺序执行相同的检查,在方案未通过的第一项处停下。前四项检查会淘汰无法评估的方案;只有剩下的方案才值得比较价格。遇到第一条符合的情况即停:

  1. 如果服务商无法把您的某个问题追溯到来源段落,请先要求提供这条记录,再继续。
  2. 如果评估只用了演示文档或公开文档,请要求用您已批准文档的脱敏样本进行测试。
  3. 如果权限只在公开内容上测试过,请要求分别以普通角色和受限角色提出同一个问题。
  4. 如果交接内容没有列明代码、配置、提示词、数据导入任务、评估文件和运维说明,请在签约前把清单定下来。
  5. 如果四项检查全部通过,再按相同范围比较报价:来源数量与质量、权限复杂度、集成、托管限制和评估覆盖面。

服务商在看到您的文档之前就承诺准确率百分比,是一个危险信号。准确率取决于验收集中的问题和来源,因此应写进验收标准。

RAG 服务商应分别报告哪些结果?

RAG 服务商应分别报告四项结果:检索、答案依据、权限和时效性。每类失败的修正方法不同:如果现行文档根本没有被检索到,要修的是检索;如果模型忽略了已收到的段落,要修的是回答规则。

  • 检索:标注的参考段落是否出现在传给模型的片段中,排在第几位。
  • 答案依据:生成的回答是否只陈述检索段落支持的内容,并显示来源。
  • 权限:每个角色是否只能检索到其有权打开的文档。
  • 时效性:更新、删除或撤销访问的文档在约定的刷新后是否不再出现。

请索取这四项结果背后的证据包:已批准来源的版本、带标注参考段落的问题、带来源 ID 的检索段落、系统生成回答时的实际回答,以及本次运行所用的配置。验收报告还应列出失败和被排除的用例,并保留一组单独的问题供以后测试。

Neaptide 自己的检索记录显示了什么?

2026 年 10 月 7 日,在 Neaptide 选取的 R04 记录中,公布的单独 GEO 审计价格 $825–1,650 在检索出的前三个片段中排名第一,并保留了来源 URL 和周边条款。Neaptide 是一家网络推广工作室,也为企业落地 AI;这次检索覆盖从四个在线英文服务页面提取的 542 个段落。本次只测试检索:没有语言模型生成回答,单个选取案例也不构成准确率。

R04 记录用了哪个问题和哪个来源?

R04 记录提出的问题是“How much is the standalone Neaptide GEO audit?”(单独购买 Neaptide GEO 审计要多少钱),检索范围是 2026 年 10 月 7 日保存的四个 Neaptide 服务页面:SEO、GEO、网站开发和 AI 实施。标注的参考句是 GEO 服务页面上的“A standalone audit costs $825–1,650”。问题集中的每个问题都针对一项已公布的服务,回答该问题的段落被标注为参考段落。

检索器对 R04 返回了什么?

对于 R04,检索器把 GEO 服务页面上包含参考句的段落排在第一位。下表把每个记录字段对应到 RAG 服务商应为每个验收用例保留的证据。

R04 记录(2026 年 10 月 7 日):已记录的证据及对应的服务商要求
字段R04 中的值应向服务商要求
问题 IDR04每个验收问题都有稳定的 ID
来源https://www.neaptide.ai/en/services/geo每个检索段落都带来源 URL 或文档 ID
文档版本所保存 HTML 的 SHA-256 哈希值能说明检索的是哪一份副本的版本号或哈希值
排名前 3 个片段中的第 1 位参考段落的排名以及传给模型的片段数量
上下文锚定段落加上同一页面内前后各一个相邻段落切分规则,以便审核者知道模型收到了哪些文本
返回文本已在记录文件中公开检索出的原文本身,便于直接核查结果
选取方式从更大规模探索性研究中选出的一个成功案例;不是汇总基准书面说明所展示的用例是如何选出的

检索器采用 BM25 类词法排序(k1 = 1.2,b = 0.75),不做重排序,返回前三个片段。来源 URL 和原始 HTML 的哈希值随每个片段一起保存。

为什么检索到的价格必须保留周边条款?

只有当同一段落说明了价格属于哪项服务、不包含什么时,检索到的价格才可用。在 R04 片段中,$825–1,650 的单独审计与 Core(每月 $1,650–2,475)和 Growth(每月 $2,475–3,300)的月度价格区间相邻,均不含税费和约定的额外工作。借助这些相邻句子,审核者可以确认该价格属于一次性审计,而不是月度方案。

在您自己的评估中,要求服务商为每个检索段落保留文档标识、版本和相关的上下文。然后单独检查回答:回答必须指向正确的服务,并保留使陈述成立的条件。

签订 RAG 合同前应测试什么?

签订 RAG 合同前,进行六项测试,每项都书面约定通过条件。在您的文档样本上前三项中任何一项未通过的方案,还不到比较价格的时候。

  1. 检索记录:您的一个真实问题能追溯到带来源 ID 和版本的检索段落;如果记录从回答开始,则不通过。
  2. 参考段落排名:标注的参考段落落在声明的片段数量之内(R04 用的是前三个);如果服务商说不出这个数量,则不通过。
  3. 受限角色:普通用户提出同一问题时,不返回任何受限文档的段落;哪怕泄露一次也不得上线。
  4. 过时文档:测试中包含一份已被取代的流程;只有检索到现行版本或标出冲突才算通过。
  5. 无答案问题:对文档中没有答案的问题,按约定规则拒答或转交人工;任何编造的回答都不通过。
  6. 交接演练:另一个团队按照运维手册和交接文件部署系统;如果将由您的团队维护系统,请把这一项纳入验收。

公开的 R04 记录只在公开内容上覆盖了第 1、2 项测试;第 3–6 项需要来自实际项目环境及其用户角色的证据。

RAG 系统交接应包含什么?

RAG 系统交接应列明六项内容:应用代码、配置、提示词、数据导入任务、评估文件和运维说明。第三方组件、托管模型服务和供应商平台有各自的许可和订阅,应单独列出,因为服务商无法把它们当作自有代码转让。

运维讲解应涵盖来源更新、权限变更、请求失败以及报告错误回答的途径。后续支持需另签协议,明确负责人和范围;请在比较总成本之前把它写进书面文件。

索取 RAG 报价前应准备什么?

索取 RAG 报价前,准备三样东西:已批准的文档、用户角色,以及助手所服务流程中反复出现的问题。初步沟通时,脱敏样本和角色清单就足够;在访问方式约定之前,机密文档应留在您批准的环境中。确定范围的第一步,是明确哪些来源具有权威性、合格的回答必须展示什么。

常见问题

要点速览

如何选择 RAG 开发公司?

用同样的八项要求比较各家服务商:检索记录、单独的检索结果、基于您文档的测试、权限检查、时效规则、无答案问题的处理、列明的交接内容和书面约定的支持。比较价格之前,请每家用您自己的一个问题提供检索记录。

聘用 RAG 服务商前应该问什么?

要求提供从真实问题到检索来源段落的记录,以及分开的四项结果:检索、答案依据、权限和时效性。然后询问交接包含哪些内容、验收后由谁维护系统。

定制 RAG 开发要多少钱?

Neaptide 没有统一的 RAG 价目。报价取决于来源数量与质量、权限复杂度、集成、托管限制和评估覆盖面;第一个里程碑会在扩大开发之前约定。

RAG 服务商能保证准确率吗?

服务商在看到您的文档之前就承诺准确率百分比,是一个危险信号。引用来源让回答更易核查,但不能保证准确;准确率要在约定的验收集上测量。

公开的 R04 检索记录证明了什么?

R04 记录表明,2026 年 10 月 7 日,词法检索器在来自四个公开 Neaptide 服务页面的前三个片段中,把公布的单独 GEO 审计价格 $825–1,650 排在第一位。它不能证明其他问题上的准确率。

R04 记录中有语言模型生成回答吗?

没有。R04 记录使用 BM25 类词法检索器处理提取出的 HTML 段落;公开的证据是返回的来源文本及其 URL。

在公开页面上检索成功,能证明访问控制有效吗?

不能。权限、撤销访问和来源更新必须在实际项目环境中用相关用户角色测试。检索到公开页面,并不能说明受限文档是否得到保护。

RAG 系统交接应包含什么?

交接应列明应用代码、配置、提示词、数据导入任务、评估文件和运维说明。第三方许可、托管依赖和支持范围单独列出。