RAG 故障定位与误差分层
检索优化、混合检索与 RAG 诊断#FDE#第十四阶段#检索优化、混合检索与 RAG 诊断#RAG 故障定位与误差分层约 731 字 · 2 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
本阶段学习说明
培养方向： 客户现场的软件实现、系统集成与 AI 应用交付。
阶段定位： 能将 RAG 失败定位到查询、语料、召回、排序、上下文或生成环节，并用离线数据证明优化有效。
适用环境： 可记录候选结果、来源、分数和版本的检索服务；可使用向量检索、关键词检索或混合检索。
统一场景： 企业知识助手在产品缩写、错误代码、跨文档问题及新旧政策并存时出现漏召回或引用不当，需要逐层改进。
题库结构： 100 道题及追问，分十组，附评分和实操建议；提供题目，不包含参考答案。
答题约定： 先保存失败样例和完整检索轨迹，再做单变量改动。Recall、排序质量、引用支持、答案正确、延迟和成本是不同指标；不存在适用于所有语料的通用 Top K 或阈值。
用户反馈答案错误时，如何拆分调查步骤？
追问 先看查询、候选块、上下文、回答还是引用？为什么？
如何区分没有召回正确文档与召回后未被采用？
追问 至少要保存哪些中间数据才能判断？
检索结果正确但回答遗漏条件时可能是什么原因？
追问 上下文拼装、提示和生成分别怎样验证？
回答有引用但引用并不支持结论时如何诊断？
追问 引用关联正确和语义蕴含正确有何差别？
怎样建立一个可复现的 RAG 失败案例？
追问 问题、用户权限、语料版本、索引和模型应记录哪些？
用户提问含简称但资料使用全称时如何定位失败？
追问 查询扩展、别名词典还是混合检索应先验证什么？
检索得到过期政策时应检查哪些数据？
追问 索引状态、有效期过滤和冲突排序怎样分别核对？
答案对一个用户正确、对另一个用户错误可能是什么原因？
追问 角色、租户和部门过滤的执行位置如何验证？
如何将失败按检索、排序、内容和权限分类？
追问 分类是否允许多个根因并存？
为什么不能只看最终答案来决定如何优化？
追问 模型偶然答对会掩盖哪类检索缺陷？