检索测试集与评估指标
检索优化、混合检索与 RAG 诊断#FDE#第十四阶段#检索优化、混合检索与 RAG 诊断#检索测试集与评估指标约 392 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
RAG 检索评测集中的每条样本应包含什么？
追问 问题、权限、相关文档及相关片段如何标注？
人工标注相关性时如何减少标准不一致？
追问 边界样本和多来源可答问题由谁仲裁？
Recall@K 衡量什么？
追问 它不反映结果顺序的哪方面？
Precision@K 衡量什么？
追问 增加候选数可能怎样改变精确率和上下文噪声？
MRR 或 NDCG 适合补充观察什么？
追问 首个相关结果位置与多级相关性分别如何理解？
检索指标与答案指标为什么需要分别报告？
追问 检索 Recall 提升但回答变差时有哪些可能原因？
如何构建不能回答或资料不存在的评测问题？
追问 如何检查系统拒答恰当而非一律拒绝？
评测集如何避免只包含常见问法？
追问 错别字、缩写、口语和多轮指代应如何覆盖？
训练、调参与最终评测数据怎样隔离？
追问 反复查看测试结果后会产生什么偏差？
怎样根据业务影响为检索错误分层？
追问 高风险政策与低风险说明文如何区别设置门槛？