基线、样本与公平比较
方案设计、业务价值与 PoC 验证#FDE#第八阶段#方案设计、业务价值与 PoC 验证#基线、样本与公平比较约 515 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
怎样测量现有人工处理基线？
追问 人员经验、任务难度和计时范围如何固定？观察导致的行为变化怎样说明？
怎样选择有代表性的验证任务集？
追问 常见、长尾、异常和无法处理项如何覆盖？如何记录真实分布与测试分布差异？
调试数据与最终评价数据为什么应分开？
追问 反复针对同一样例改提示会导致什么？怎样检查重复或相关记录泄漏？
怎样保持候选方案比较条件一致？
追问 输入、资料、人工帮助与执行窗口如何固定？方案需要不同资源时怎样披露？
评价者之间意见不一致时怎么办？
追问 规则、样例和复核如何协调？怎样先核对分歧是否来自评价标准？
重复运行结果不同，怎样记录与解释？
追问 平均、波动、失败与最坏样例怎样报告？只保留最好一次会误导什么？
怎样设计同一用户前后流程比较？
追问 熟练度、顺序与任务难度有什么影响？怎样避免把学习效应算成方案收益？
怎样比较辅助方案与完全自动化方案？
追问 人员参与、完成质量和错误修复成本如何统一？什么情况下不宜直接比较速度？
方案达到总体目标但某类任务明显失败，如何处理？
追问 分层部署、限制范围和补测如何选择？用户怎样识别不支持的情况？
怎样保存实验以支持他人复查？
追问 数据版本、配置、原始输出和评分如何关联？脱敏材料能复现哪些结论？