实验设计与不确定性
AI 应用评测、测试与质量门禁#FDE#第十七阶段#AI 应用评测、测试与质量门禁#实验设计与不确定性约 367 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
新旧方案怎样使用配对样本比较？
追问 为什么应关注同题得失而非仅看均值？
非确定性模型应如何安排重复运行？
追问 波动范围与稳定失败分别怎样记录？
样本量较小时评测结论有什么限制？
追问 没有观察到严重错误是否证明错误率为零？
置信区间能帮助解释什么？
追问 区间很宽时为什么不宜宣称稳定提升？
多次挑选最佳实验结果会产生什么偏差？
追问 预设指标与独立保留集如何减少选择偏差？
控制变量实验应该固定哪些组件？
追问 提示、模型、语料、索引与参数如何记录？
平均效果提升但部分客户退化时怎么办？
追问 客户切片和高风险分组怎样进入发布门槛？
线上 A/B 实验如何划分流量？
追问 随机分组、同用户一致性和重复请求如何处理？
影子评测适合验证哪些功能？
追问 影子链路为何必须禁止真实写入？
如何解释统计改善与业务价值之间的差异？
追问 小幅分数变化是否降低返工或增加采用率？