优化实验与交付演练
检索优化、混合检索与 RAG 诊断#FDE#第十四阶段#检索优化、混合检索与 RAG 诊断#优化实验与交付演练约 787 字 · 2 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
怎样提出一个可证伪的 RAG 优化假设？
追问 预期改善哪个指标，可能伤害哪个指标？
为什么每轮优化最好只改变少数变量？
追问 同时改变切块、Embedding 和 Top K 会造成什么归因问题？
如何比较混合检索与纯向量检索？
追问 评测集应如何覆盖关键词型和语义型问题？
如何验证重排模型带来的收益是否值得成本？
追问 质量、时延和费用如何按请求类型拆分？
如何进行高风险问题的独立回归测试？
追问 少量严重错误是否应比平均分更优先阻断发布？
怎样向客户展示一次检索错误的根因分析？
追问 如何展示原问题、候选列表、选用依据和修复证据？
如何避免对评测集过拟合？
追问 保留集、线上抽样和周期性新样本如何配合？
优化后如何分批发布并及时回滚？
追问 影子流量、灰度用户和回退阈值如何选择？
客户提出“回答再聪明一点”时如何转成工程任务？
追问 如何追问到具体失败样例与可验收指标？
如何提交一份 RAG 优化实验报告？
追问 基线、变更、数据集、分项指标和遗留风险应如何呈现？
评分参考
- 诊断能力（0～3 分）： 能通过检索轨迹将失败定位到具体阶段，而非笼统换模型。
- 检索工程（0～3 分）： 能合理使用混合召回、过滤、排序及上下文预算。
- 评估能力（0～2 分）： 能解释指标、设置对照并防止评测集过拟合。
- 交付表达（0～2 分）： 能呈现收益、代价、风险和回滚依据。
实操建议
从第十三阶段知识库构造包含 50～100 个问题的离线集，为每题标注授权条件、相关文档和可接受答案要点。比较纯向量、词法、融合与重排方案，记录 Recall@K、排序指标、引用支持、端到端延迟和单次成本。提交至少五个失败案例的完整诊断轨迹，并说明哪项改动带来可重复收益。