客户验证与基础实操
RAG 与企业知识库基础#FDE#第十三阶段#RAG 与企业知识库基础#客户验证与基础实操约 807 字 · 2 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
如何为内部知识助手定义首批使用问题？
追问 频率、业务价值、答案可验证性如何排序？
PoC 应如何选择文档与问题样本？
追问 标准问题、口语问法和无答案案例各占什么位置？
如何定义 RAG 的基础验收指标？
追问 检索命中、引用正确、答案正确和响应时间怎样区分？
怎样检查检索到了正确资料但模型仍然答错？
追问 证据阅读、提示、上下文长度和输出核验如何定位？
如何证明系统不会向无权限用户提供文档内容？
追问 正向测试、负向测试和审计证据怎样组织？
设计一个从目录文档到知识问答的最小实操，应包含哪些步骤？
追问 如何交付来源清单、解析结果、索引和演示记录？
客户文档没有稳定版本号时如何管理更新？
追问 内容哈希、修改时间和负责人确认如何组合？
用户指出答案与最新政策冲突时怎样响应？
追问 如何暂停该知识源、保存案例并验证修复？
如何避免把演示语料的效果外推到生产知识库？
追问 上线前还缺哪些数据、权限和运维验证？
如何向客户说明知识助手的持续维护责任？
追问 文档所有者、索引更新、评测和事故升级由谁承担？
评分参考
- 基础理解（0～2 分）： 能说明解析、切块、向量化、检索、生成及引用之间的关系。
- 工程设计（0～3 分）： 能处理文档生命周期、权限过滤、更新删除和失败状态。
- 验证意识（0～3 分）： 能分别评估检索、引用、答案与用户体验，并设计无答案测试。
- 交付表达（0～2 分）： 能界定知识责任、客户约束、上线条件和维护工作。
实操建议
选取一组带版本和部门属性的脱敏政策及操作手册，完成解析、结构切块、向量化、元数据过滤和带出处回答。构造答案可查、语料缺失、版本冲突、过期文档及越权用户场景。提交来源清单、检索记录、引用核对和一份失败分析；检索优化及正式评测留到下一阶段。