提示测试与回归验证
提示设计、结构化输出与业务校验#FDE#第十一阶段#提示设计、结构化输出与业务校验#提示测试与回归验证约 362 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
如何构建可重复的提示测试集？
追问 样例来源、标签审核和数据隔离如何管理？
单元测试和端到端测试分别验证什么？
追问 模拟模型通过是否足以证明线上效果？
提示回归集应覆盖哪些变化？
追问 类别调整、格式变更和长文本如何纳入？
如何衡量字段抽取的正确性？
追问 精确匹配、归一化匹配与部分得分怎样选择？
如何测试输出格式的稳定性？
追问 是否要重复运行，随机变化怎样记录？
怎样比较新旧提示而不只挑选有利样例？
追问 样本配对、指标阈值和失败项审查如何设定？
提示测试中的“金标准”由谁维护？
追问 业务分歧和标签不确定时如何记录？
怎样测试罕见但高风险的输入？
追问 合成用例与真实脱敏案例各有什么局限？
提示测试失败如何阻止错误版本发布？
追问 质量门禁是否要区分阻断项与警告项？
如何复现一个线上错误输出？
追问 输入、模板、模型、参数和下游版本应如何关联？