文件解析、编码与来源定位
数据接入、清洗、同步与可追溯性#FDE#第九阶段#数据接入、清洗、同步与可追溯性#文件解析、编码与来源定位约 483 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
CSV 解析怎样处理编码、分隔符与引号？
追问 换行内容和 BOM 如何核对？简单分割字符串会怎样破坏数据？
Excel 中日期、公式和显示格式应怎样理解？
追问 值、公式与缓存结果各有何差异？账号编号的前导零如何保持？
嵌套 JSON 怎样映射为实体记录？
追问 数组展开、缺失和空数组如何区别？展开后怎样保留父记录关联？
文本读取发生非法编码时如何处理？
追问 拒绝、替换和人工检查怎样选择？替换字符后能否仍宣称内容完整？
大文件怎样控制解析内存？
追问 流式、批次与临时结果如何组织？错误行和统计信息怎样保留？
压缩文件接入应限制什么？
追问 解压大小、文件数量与输出路径如何校验？怎样避免展开到非预期位置？
怎样保留解析结果的原始位置？
追问 文件版本、行、表单或字段路径如何记录？后续用户质疑时怎样回到来源？
多文件数据怎样避免提前合并？
追问 批次清单、完整条件和缺失文件如何确认？只收到部分文件应怎样标记？
文件格式发生变化时如何发现？
追问 列名、类型、必填与嵌套路径怎样检查？不应静默丢弃哪些未知信息？
怎样验收一次文件解析？
追问 原始行数、成功、失败和跳过如何对账？是否还需验证字段语义与关联？