接入实操与综合答辩
数据接入、清洗、同步与可追溯性#FDE#第九阶段#数据接入、清洗、同步与可追溯性#接入实操与综合答辩约 1010 字 · 3 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
实操：接入一份 CSV 和一个模拟工单 API。
追问 统一字段、来源键和错误报告怎样组织？重复外部 ID 如何保持空间隔离？
实操：实现带稳定复合游标的增量同步。
追问 同时间多记录、迟到修改和中断怎样模拟？最终键集合与版本如何核查？
实操：对同步过程注入目标写入与保存游标失败。
追问 分别会造成什么失败窗口？恢复后怎样证明不遗漏且不重复副作用？
实操：处理重复、乱序和删除事件。
追问 版本与删除标记怎样保护目标？旧更新晚到后数据是否被错误恢复？
实操：建立数据质量与隔离报告。
追问 坏行、缺关联和跨空间冲突如何分类？修复后的定向重处理怎样验证？
场景：目标数量骤降，但来源接口一直返回成功。
追问 分页、权限、范围和模式变化怎样排查？为何不能马上删除剩余目标数据？
场景：来源字段变更后，报表结果悄悄失真。
追问 契约、映射和血缘怎样定位？如何确定受影响记录并验证重算？
实操：为一条派生记录还原完整来源。
追问 输入、规则、任务与人工修改如何关联？哪些缺失信息阻止可靠解释？
实操：模拟访问撤回并清理必要副本。
追问 表、文件、缓存与派生数据怎样处理？如何检查没有残留访问入口？
综合答辩：交付可恢复、可对账的数据管道。
追问 怎样说明范围、进度、删除与失败出口？改变来源更新方式后哪些假设必须重验？
面试评分参考
每题按 0～3 分评价：
- 0 分： 误合并客户数据、跳过进度或删除依据错误，不能识别遗漏与覆盖。
- 1 分： 正常读取可用，但缺少增量、删除、版本与恢复语义。
- 2 分： 数据契约和状态清楚，能处理主要重复、异常及完整性检查。
- 3 分： 能验证失败窗口、乱序与权限变化，提供可靠血缘、对账及重处理证据。
重点观察： 语义保持、来源隔离、提交边界、删除传播、恢复与可追溯性。评分用于课堂诊断，不要求掌握全部 CDC 产品参数。
课堂练习与组卷建议
- 准备文件、实验数据库及可控 API，包含重复、坏行、修改和删除。
- 对输入、转换和目标版本分别记录，支持定位一条派生结果。
- 在进度前后注入失败，验证恢复时允许重复但不丢失业务结果。
- 使用事件模拟器验证快照重叠、乱序及删除后旧更新，连接器实验作为延伸。
- 口述用 45～60 分钟；同步与对账实操用 90～120 分钟。
- 综合练习用 2～3 天，提交管道、契约、质量报告、恢复测试及来源追踪材料。
核对资料： Debezium：MySQL 连接器。快照、日志保留、偏移与事件格式按实际连接器版本核对；非 CDC 来源需要另行明确更新和删除能力。
下一阶段： 大模型基础、调用与模型选择。