调用实操与模型选择答辩
大模型基础、调用与模型选择#FDE#第十阶段#大模型基础、调用与模型选择#调用实操与模型选择答辩约 1097 字 · 3 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
实操：实现带配置、超时和日志的模型调用。
追问 版本、用量、结束原因怎样记录？如何证明没有泄露密钥和原始敏感内容？
实操：为工单摘要设置输入和输出预算。
追问 长文本、超限和关键资料怎样处理？怎样验证裁剪没有破坏业务要求？
实操：实现可区分完整与部分结果的流式调用。
追问 错误事件、意外 EOF 与停止怎样模拟？完整内容和最终状态如何断言？
实操：对模型提取结果增加程序校验。
追问 缺失、非法枚举和不存在 ID 怎样拒绝？校验失败后如何限制重试并转人工？
实操：比较两个候选模型的工单任务效果。
追问 类别、评价、用量、延迟和重试如何保持公平？怎样报告失败与波动？
场景：长上下文调用成功但忽略关键政策。
追问 资料位置、冲突、噪声与任务表达怎样检查？为何不能只增加窗口来证明修复？
场景：模型输出很快，完整流程反而更慢。
追问 连接、资料处理、审核和返工怎样计时？下一项改动依据是什么？
场景：模型更新后总分更高，但 ID 错误更多。
追问 业务保护指标和高风险类别怎样评价？灰度、回退及版本固定如何安排？
实操：制定调用成本与模型切换方案。
追问 计费假设、预算和切换条件如何明确？兼容性与数据规则未验证时如何限制切换？
综合答辩：交付可验证的大模型工单辅助能力。
追问 怎样说明任务、模型、预算、错误和证据？改变数据规模或部署限制后如何重新选型？
面试评分参考
每题按 0～3 分评价：
- 0 分： 将流畅回答、解码格式或 HTTP 成功当作事实与业务完成，无法识别关键错误。
- 1 分： 能调用模型，但缺少预算、异常、校验与比较条件。
- 2 分： 能解释基础机制，控制调用和失败路径，并按任务验证质量与成本。
- 3 分： 能处理流式、版本和未知结果，提供模型比较证据与明确业务保护边界。
重点观察： Token 与上下文、调用工程、输出校验、可复现比较及业务可信度。评分用于课堂诊断，不以背诵最新模型名称、价格和排行榜评价能力。
课堂练习与组卷建议
- 采用一种可用接口或模拟服务，实现调用、预算、用量与错误记录。
- 使用短、长、缺失、冲突和恶意指令样例，分别检查模型结果与程序保护。
- 模拟流式拆分、错误、截断与停止，明确部分结果和正常完成区别。
- 对固定脱敏任务比较质量、延迟与每次正确完成成本；单价与环境标注来源。
- 口述用 45～60 分钟；调用或模型比较实操用 90～120 分钟。
- 综合练习用 1～2 天，提交客户端、测试、版本配置与结果报告；使用模拟服务时不宣称真实模型质量。
核对资料： Attention Is All You Need、Gemini：Token、文本生成、模型与版本、Claude：API 错误、流式消息。资料用作机制及接口示例，实际实现按所选供应商核对。
下一阶段： 提示设计、结构化输出与业务校验。