数据集、抽样与版本
AI 应用评测、测试与质量门禁#FDE#第十七阶段#AI 应用评测、测试与质量门禁#数据集、抽样与版本约 383 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
评测样本应从哪些业务渠道收集？
追问 历史工单、访谈问题和线上错误各有什么偏差？
如何覆盖常见任务与长尾任务？
追问 按频率抽样是否会遗漏罕见高风险错误？
如何给评测集设计分层标签？
追问 部门、语言、任务难度和风险如何用于切片分析？
合成样本与真实脱敏样本怎样搭配？
追问 合成样本通过为什么不能证明真实业务质量？
怎样建立包含无答案问题的数据集？
追问 已知不存在、资料缺失与权限不可见如何区别？
如何防止调参数据与保留测试集混用？
追问 频繁查看保留集结果后该怎样补充独立样本？
评测数据应保存哪些版本信息？
追问 问题、标准答案、来源与标注规则怎样关联？
知识库更新后怎样处理旧评测样本？
追问 原答案失效时应保留历史还是直接覆盖？
如何检测评测集中存在重复或近重复样本？
追问 重复会如何夸大对特定类型的表现？
敏感评测数据怎样限制保存与访问？
追问 原文、脱敏字段和评测日志分别需要什么权限？