增量读取、游标与进度提交
数据接入、清洗、同步与可追溯性#FDE#第九阶段#数据接入、清洗、同步与可追溯性#增量读取、游标与进度提交约 513 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
基于更新时间的增量读取需要哪些条件？
追问 所有修改是否更新字段，时间精度是否足够？删除记录能否通过同一查询发现？
多条记录具有相同更新时间时怎样翻页？
追问 复合游标与稳定次级键如何使用？只保存时间会漏掉哪些记录？
迟到或回写旧时间的数据怎样发现？
追问 重叠窗口、定期补扫和来源版本如何配合？窗口外变化有什么限制？
进度应在接收、处理还是目标提交后推进？
追问 每种位置崩溃会带来重复或遗漏什么？怎样定义真正完成条件？
目标写入与游标保存怎样保持一致？
追问 同库事务与跨系统写入有何差异？不能原子提交时怎样通过防重恢复？
增量任务重复执行怎样得到正确结果？
追问 来源键、版本与条件更新如何使用？无条件 upsert 会不会让旧内容覆盖新内容？
多个任务同时处理同一来源时怎么办？
追问 租约、互斥与分区怎样选择？过期工作者继续执行时目标如何识别旧操作？
来源分页游标失效后如何重建进度？
追问 重新扫描、范围查询与核查如何组合？怎样防止新旧任务冲突或丢数据？
怎样判断同步落后而不是停止？
追问 源变更时间、完成位置、积压与错误怎样观察？任务进程存活能证明什么？
怎样验收一次增量恢复？
追问 中断前后记录、游标和重复操作如何对照？最终完整性需要哪些独立检查？