质量检查、隔离与完整性验证
数据接入、清洗、同步与可追溯性#FDE#第九阶段#数据接入、清洗、同步与可追溯性#质量检查、隔离与完整性验证约 502 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
接入质量应观察哪些维度？
追问 完整、唯一、一致、有效与时效分别如何测量？各指标分母如何定义？
怎样发现接入结果数量异常？
追问 来源窗口、删除和去重如何影响行数？仅数量相等是否能证明完整？
怎样检测重复与跨空间冲突？
追问 来源键、租户键和业务键怎样核对？冲突如何隔离而不覆盖已有正确记录？
关联数据暂时缺失与永久错误怎样区别？
追问 等待补齐、超时与人工检查如何设定？不能立刻删除哪些孤立记录？
坏数据应使整批停止还是逐项隔离？
追问 凭据失效、模式错误和单行错误有何差异？怎样避免一整批被静默跳过？
质量指标下降应怎样定位来源？
追问 来源、时间、字段和转换版本如何分组？怎样识别上游变更而不是本地 bug？
失败记录怎样进入恢复队列？
追问 原因、尝试、修复状态和输入版本如何保存？无限重试会产生什么积压？
怎样验证批次覆盖了约定范围？
追问 时间、分页、文件清单和实体键如何核查？被限流中断的任务是否可以标为完成？
抽样核查与全量规则检查怎样配合？
追问 哪些结构问题可全量检测，哪些语义需要业务确认？抽样限制如何写入报告？
怎样向客户汇报数据质量缺口？
追问 具体影响、样例和责任归属如何说明？可以继续的范围与必须补齐条件怎样区别？