数据库、文件与 SaaS 连接器
数据接入、清洗、同步与可追溯性#FDE#第九阶段#数据接入、清洗、同步与可追溯性#数据库、文件与 SaaS 连接器约 527 字 · 2 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
数据库直读、导出文件与 API 怎样选择?
追问 负载、权限、实时性与字段覆盖如何比较?维护责任和接口稳定性怎样确认?
数据库分批读取怎样控制查询负载?
追问 筛选、列选择、批量和时间窗口如何设置?LIMIT 为什么不能单独保证成本小?
读取过程中源数据改变,怎样定义完整性?
追问 快照、分页键与后续补扫如何配合?多张表是否处于同一个一致时间点?
SaaS 分页怎样管理配额和进度?
追问 游标、过期、限流与重试如何处理?重复页或服务端排序变化怎样发现?
文件交付应约定哪些完成信号?
追问 文件命名、校验、清单与完成标记如何配合?怎样避免读取还在写入的文件?
对象存储的文件更新怎样检测?
追问 对象标识、版本、校验信息与元数据如何使用?同名文件是否一定相同内容?
怎样处理附属资源与主记录的接入顺序?
追问 客户、工单和附件先后到达时怎么办?暂缺关联如何保存并补齐?
连接器应怎样处理来源暂时不可用?
追问 状态、限速重试和人工出口如何记录?怎样避免将无法读取误判为数据全部删除?
来源环境与账号变化时如何验证?
追问 读权限、字段范围与进度归属怎样核对?切换数据源后能否复用旧游标?
怎样测试连接器而不读取客户生产数据?
追问 模拟接口、脱敏文件与实验库各覆盖什么?真实环境仍需补验哪些条件?