在线诊断、延迟与成本
检索优化、混合检索与 RAG 诊断#FDE#第十四阶段#检索优化、混合检索与 RAG 诊断#在线诊断、延迟与成本约 398 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
RAG 请求端到端延迟应拆成哪些阶段？
追问 查询改写、向量化、召回、重排和生成如何分别计时？
P95 延迟比平均延迟更能反映什么？
追问 长尾来自大查询、重试还是服务拥塞如何定位？
如何设置检索和生成的超时预算？
追问 某一阶段超时后是否还能返回部分结果？
RAG 成本应按哪些组件核算？
追问 查询、重排、生成、索引刷新和日志存储如何纳入？
缓存查询或检索结果时要关注哪些正确性问题？
追问 用户身份、权限和语料版本怎样进入缓存键？
如何发现检索服务的容量瓶颈？
追问 并发、索引规模、过滤条件和向量维度各如何影响？
线上无答案率突然下降是否一定是改进？
追问 过度自信回答和拒答阈值如何共同检查？
如何监控检索分数分布与候选来源变化？
追问 出现漂移时如何避免直接自动调整阈值？
线上反馈如何关联到可复现的检索轨迹？
追问 哪些数据需脱敏并控制保存周期？
缓存、索引和模型版本不一致时怎样诊断？
追问 请求日志至少需要带哪些版本标识？