工具、流程与执行验证
AI 应用评测、测试与质量门禁#FDE#第十七阶段#AI 应用评测、测试与质量门禁#工具、流程与执行验证约 389 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
工具调用正确性应分成哪些维度？
追问 工具选择、参数、授权、执行和结果说明如何分别判断？
评测工具任务为什么必须检查实际业务状态？
追问 模型宣称完成但没有写入时如何判定？
如何评测不该调用工具的任务？
追问 误调用只读与误调用写工具如何区别严重度？
允许多条正确执行路径时怎样评分？
追问 是否应只匹配某条固定工具序列？
如何评测审批拒绝后流程没有继续写入？
追问 界面、执行器和数据库需要哪些证据？
恢复流程的质量测试应包含哪些故障？
追问 重启、重复消息、未知提交与取消竞态怎样覆盖？
如何验证 Agent 没有越过调用预算？
追问 子任务、重试和恢复运行怎样累计统计？
模拟工具的评测结果有什么适用限制？
追问 网络、权限和下游语义还需要怎样补验？
如何衡量人工协同流程的完成质量？
追问 人工修改次数、复核工时和任务成功率如何关联？
安全负向测试失败应怎样影响发布判断？
追问 少量越权能否被大量正确任务抵消？