解析、规范化与知识切块
RAG 与企业知识库基础#FDE#第十三阶段#RAG 与企业知识库基础#解析、规范化与知识切块约 398 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
文档解析结果进入知识库前要做哪些规范化？
追问 空白、编码、页眉和重复文本如何处理？
知识切块为什么不能简单按固定字符数切割？
追问 条款标题和解释内容分离后会有什么影响？
按段落、标题或固定长度切块各有哪些取舍？
追问 如何为政策和产品说明选择初始策略？
块大小如何影响检索相关性和上下文成本？
追问 块太小失去语境、太大引入噪声如何观察？
相邻块重叠有什么用途与代价？
追问 重叠是否会导致重复证据占满检索结果？
怎样将标题和父级章节信息附加到检索块？
追问 哪些元数据用于过滤，哪些适合作为可读上下文？
表格切块时怎样保留表头和单位？
追问 孤立的“500”数值离开列名后为何可能误答？
如何处理超长章节、列表和跨页内容？
追问 拆分后如何保持步骤编号和父子关系？
原始文档、解析文本和切块结果怎样关联？
追问 用户点击引用时怎样回到原文页码或段落？
切块策略变化后怎样重建知识库？
追问 如何避免新旧索引混用或切换时服务中断？