先明确要解决的问题
RAG(检索增强生成)的核心思路很直观:先从外部资料里找相关内容,再把这些内容交给模型辅助回答。
但当你看到一个错误答案时,需要区分:没搜到、搜到了但没用对、还是资料本身不对。
第一步:检索
从最朴素的方法开始:关键词匹配或现成搜索接口。建立一小份有明确答案的测试问题,记录检索前几个结果。
当基线清晰后,再考虑向量检索、混合检索或重排序。
第二步:给出证据
把返回的文档片段附上来源、标题或位置,便于模型引用,也方便用户自己核对。
{
"question": "这项功能支持哪些格式?",
"matches": [
{
"source": "docs/guide.md",
"section": "输入格式",
"text": "支持 JSON 与 CSV。"
}
]
}
第三步:生成回答
让回答建立在检索材料上,必要时明确表达「当前资料不足以判断」。
| 要检查的点 | 可以怎么测 |
|---|---|
| 相关性 | 检索结果是否真的涉及问题 |
| 可溯源 | 答案是否标出可查证的来源 |
| 完整性 | 重要条件是否被遗漏 |
| 不确定性 | 证据不足时是否克制猜测 |
最后
先把小规模评测做清楚,再扩大索引规模。一个能解释自己为什么这样回答的系统,通常比一个只会流畅输出的系统更有价值。