模型裁判与评分可靠性
AI 应用评测、测试与质量门禁#FDE#第十七阶段#AI 应用评测、测试与质量门禁#模型裁判与评分可靠性约 382 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
模型裁判适合辅助哪些评价任务？
追问 哪些业务事实仍需确定性核验或专业人员确认？
裁判提示应如何表达评分标准？
追问 标准、样例、来源与输出结构如何安排？
怎样验证模型裁判与人工评分的一致性？
追问 应按总体还是按错误类型分别分析？
裁判的位置偏好如何检测？
追问 交换两个候选答案顺序后结论是否变化？
裁判可能偏好更长或更流畅的回答吗？
追问 怎样用事实相同但风格不同的答案做对照？
使用同一模型生成和评分有什么偏差风险？
追问 交叉模型与人工抽查各能减少什么偏差？
被评回答中的注入文本会影响裁判吗？
追问 评分系统如何隔离样本内容与评价指令？
裁判给出无法解析的分数时怎样处理？
追问 失败、重试和人工复核是否应保留原始记录？
裁判模型升级后怎样保持评分可比较？
追问 校准集、固定版本和历史重评如何选择？
裁判分数能否独自批准高风险功能上线？
追问 执行证据、安全测试和客户验收还承担什么职责？