先明确要解决的问题

RAG(检索增强生成)的核心思路很直观:先从外部资料里找相关内容,再把这些内容交给模型辅助回答。

但当你看到一个错误答案时,需要区分:没搜到、搜到了但没用对、还是资料本身不对。

第一步:检索

从最朴素的方法开始:关键词匹配或现成搜索接口。建立一小份有明确答案的测试问题,记录检索前几个结果。

当基线清晰后,再考虑向量检索、混合检索或重排序。

第二步:给出证据

把返回的文档片段附上来源、标题或位置,便于模型引用,也方便用户自己核对。

{
  "question": "这项功能支持哪些格式?",
  "matches": [
    {
      "source": "docs/guide.md",
      "section": "输入格式",
      "text": "支持 JSON 与 CSV。"
    }
  ]
}

第三步:生成回答

让回答建立在检索材料上,必要时明确表达「当前资料不足以判断」。

要检查的点 可以怎么测
相关性 检索结果是否真的涉及问题
可溯源 答案是否标出可查证的来源
完整性 重要条件是否被遗漏
不确定性 证据不足时是否克制猜测

最后

先把小规模评测做清楚,再扩大索引规模。一个能解释自己为什么这样回答的系统,通常比一个只会流畅输出的系统更有价值。