标注规则与人工评价
AI 应用评测、测试与质量门禁#FDE#第十七阶段#AI 应用评测、测试与质量门禁#标注规则与人工评价约 363 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
一份可执行的评分量表应包含什么？
追问 维度、分级描述和边界反例如何编写？
如何标注存在多个合理答案的问题？
追问 答案要点、必要条件与允许表达如何区分？
两位标注人员意见不同应怎样处理？
追问 仲裁、规则修订和重新标注如何组织？
怎样观察标注人员之间的一致性？
追问 一致性低时能否继续将标签当作金标准？
如何让人工评分减少对新旧方案的偏好？
追问 盲评、随机顺序和匿名方案怎样安排？
成对比较与绝对评分分别适合什么？
追问 必须达到业务门槛时只判断谁更好足够吗？
如何区分表达流畅与事实准确？
追问 评分人员需要看到哪些来源资料？
面对缺少可验证来源的回答如何评价？
追问 合理推测与无依据断言应怎样计分？
人工评价如何按业务损失衡量错误？
追问 错误金额、错误路由和不当措辞应否同权？
如何控制人工评测的成本和疲劳？
追问 抽样、复核与标注轮换怎样保持质量？