RAG 与引用评测
AI 应用评测、测试与质量门禁#FDE#第十七阶段#AI 应用评测、测试与质量门禁#RAG 与引用评测约 362 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
检索召回与回答忠实性应怎样分别测量？
追问 找到正确资料但答错时应归到哪类失败？
如何建立问题对应的相关资料标签？
追问 多个片段共同支持答案时怎样标注？
引用正确率应包含哪些判断？
追问 引用有效、可访问与支持断言是否都要检查？
答案的引用覆盖率如何评估？
追问 有一个有效引用是否覆盖全部关键结论？
知识源冲突时的回答如何评分？
追问 是否说明冲突、版本和生效依据？
无依据拒答与检索失败怎样区分评价？
追问 语料有答案但系统拒答应计入什么错误？
如何评测多轮问题中的检索指代处理？
追问 单独评测最后一句会漏掉哪些情况？
权限过滤怎样纳入 RAG 测试集？
追问 同题不同身份的预期结果怎样定义？
资料更新和删除应如何纳入回归？
追问 旧引用、缓存和答案生成如何逐项核验？
怎样避免生成模型凭已有知识掩盖检索错误？
追问 使用客户专有事实和对照资料能检验什么？