评测目标与业务标准
AI 应用评测、测试与质量门禁#FDE#第十七阶段#AI 应用评测、测试与质量门禁#评测目标与业务标准约 719 字 · 2 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
本阶段学习说明
培养方向： 客户现场的软件实现、系统集成与 AI 应用交付。
阶段定位： 能建立代表性评测数据，分别验证模型内容、检索依据、工具执行及业务效果，并为发布提供质量证据。
适用环境： Python、测试框架、版本化数据集和一种评测工具；没有真实模型时可测试执行与评分机制，需明确质量证据的限制。
统一场景： 客户知识与工单助手准备升级提示、模型、检索或流程，需要比较新旧方案并设定可执行的发布门槛。
题库结构： 100 道题及追问，分十组，附评分和实操建议；提供题目，不包含参考答案。
答题约定： 格式合法、内容正确、引用支持、权限正确与执行成功是不同维度。模型裁判需与人工标注校准；小样本均值不代表全部用户效果。记录数据、配置与组件版本，并保留失败样例而非仅展示平均分。
AI 应用的评测目标怎样从业务需求确定？
追问 节省工时、减少错误和提高覆盖率如何转成指标？
模型评测与完整应用评测有何区别？
追问 权限、检索和业务写入为什么需另行验证？
如何定义一个工单任务“成功”？
追问 建议正确但写入失败应按哪个维度计分？
确定性测试和概率性质量评测怎样分工？
追问 Schema 校验与摘要事实性应采用相同判断方式吗？
哪些指标应成为发布阻断项？
追问 越权、错误写入和一般措辞问题如何分级？
为什么评测必须保留现有流程的基线？
追问 人工、规则和当前系统怎样用同一口径比较？
如何为不确定或资料不足的结果设置标准？
追问 合理拒答与过度拒答怎样区别？
多个质量指标冲突时如何做取舍？
追问 准确率提高但人工复核增加，应由谁决策？
如何避免把漂亮演示作为上线质量证明？
追问 代表性样本、失败案例和重复运行缺一会怎样？
评测结论的适用范围应怎样表述？
追问 语料、用户、模型版本及运行环境如何限定？