数据盘点、契约与接入范围
数据接入、清洗、同步与可追溯性#FDE#第九阶段#数据接入、清洗、同步与可追溯性#数据盘点、契约与接入范围约 893 字 · 3 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
本阶段学习说明
培养方向： 客户现场的软件实现、系统集成与 AI 应用交付。
阶段定位： 能从数据库、文件与 SaaS 接入数据，保持语义、版本及来源，处理增量、删除、重复与恢复，并验证最终完整性。
适用环境： Python、SQL、文件解析、HTTP 客户端与持久任务状态；CDC 可用事件模拟器学习，使用 Debezium 等工具时记录版本与连接器配置。
统一场景： 汇集客户工单、客户信息及附件，供工作台和后续知识应用使用。不同来源独立保留授权范围、业务标识与更新依据。
题库结构： 100 道题及追问，分十组，附评分和实操建议；提供题目，不包含参考答案。深入 OCR、文档检索和知识库在后续阶段展开。
答题约定： 明确全量、增量、快照与事件的关系；定义已接收、已处理和已生效状态。来源事件重复或乱序时仍应保持正确结果，进度仅在符合提交条件后推进。源数据、派生数据和访问权限变化分别处理。
接入数据前，应建立怎样的来源清单？
追问 负责人、环境、实体、范围和更新方式如何记录？哪些来源只有样例还未验证？
数据契约应该包含哪些语义？
追问 字段、空值、单位、标识和删除规则怎样明确？名称相同是否代表含义相同？
怎样定义跨系统统一业务标识？
追问 客户空间、来源、实体类型与外部 ID 如何组成？怎样避免误合并不同客户的数据？
首次全量与后续增量怎样分工？
追问 初始化、更新与删除分别从哪里获得？接口只有新增列表时缺少什么能力？
接入时效怎样转成可验证指标？
追问 源发生、接收、处理与可用时间如何区分？排队和时钟偏差如何影响结果？
怎样确认授权范围和目标用途？
追问 哪些字段可读、可保存及可提供给下游？权限变更后已有数据怎样处理？
数据量与变化量怎样影响方案？
追问 全量规模、每日修改、附件与峰值如何估计？只依据样例文件大小会漏掉什么？
怎样检查来源提供足够的历史与版本信息？
追问 当前状态、历史事件和修改时间各能证明什么？没有版本时如何说明同步限制？
怎样把数据接入依赖列为可执行任务？
追问 账号、网络、导出和测试样例谁提供？条件未满足时哪些验证可以独立进行？
怎样制定接入验收条件？
追问 完整性、质量、时效、删除和失败恢复各如何证明？仅连接成功是否足够？