抽取、分类与生成质量
AI 应用评测、测试与质量门禁#FDE#第十七阶段#AI 应用评测、测试与质量门禁#抽取、分类与生成质量约 384 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
字段抽取为什么不能只统计 JSON 合法率？
追问 值正确、字段齐全和证据支持如何分别统计？
抽取结果应采用精确匹配还是归一化匹配？
追问 日期、金额和名称怎样避免宽松匹配掩盖错误？
分类任务的精确率与召回率有何区别？
追问 错误自动分派与漏分派分别影响哪种指标？
类别不均衡时总体准确率有什么局限？
追问 逐类指标和混淆矩阵怎样揭示少数类别问题？
摘要的事实一致性应怎样评测？
追问 新增事实、遗漏条件和主体错配如何分类？
生成任务为什么不宜只比较参考答案字面？
追问 表达不同但语义正确的结果如何判断？
怎样评测回答中的不确定性表达？
追问 明明资料不足却给出肯定结论如何识别？
自动处理阈值提高或降低会影响什么？
追问 覆盖率、错误率和人工工作量如何共同报告？
模型自报置信度怎样验证可用性？
追问 分数与实际正确率之间应如何校准？
输出截断和拒答应怎样计入质量指标？
追问 技术失败能否简单从分母剔除？