流式事件、停止与连接恢复
大模型基础、调用与模型选择#FDE#第十阶段#大模型基础、调用与模型选择#流式事件、停止与连接恢复约 516 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
流式返回相比完整返回能改善什么？
追问 首段时间与总完成时间有何不同？更早显示是否意味着总生成更快？
流式事件应怎样按协议解析？
追问 文本、元信息、错误和结束事件如何区分？网络读取块为何不等于一个完整事件？
文本增量怎样构造完整结果？
追问 消息、内容块与顺序如何关联？如何处理拆分字符、多个块和未知事件？
流开始后发生服务错误，怎样识别？
追问 HTTP 已成功时是否仍可能收到错误事件？部分内容如何标记而不当作完整答案？
正常完成与意外断线怎样区别？
追问 结束原因和协议完成标记各有什么作用？EOF 能否独自证明完整成功？
流式中断后怎样选择恢复方式？
追问 查询持久结果、重发或继续各有什么条件？所选服务是否真的支持断点恢复？
用户停止生成后，需要处理什么资源？
追问 浏览器连接、后端任务与上游请求怎样关联？停止显示是否保证上游停止及不再计费？
怎样观察流式用量与实际成本？
追问 用量字段出现在哪些事件？中断前未收到最终数据时如何标记估计与未知？
代理或浏览器缓冲怎样影响体验？
追问 服务生成时间与实际到达时间如何分别测量？怎样确认不是模型本身变慢？
怎样测试流式调用的失败边界？
追问 延迟、拆分、错误、截断和用户停止如何模拟？结果状态和连接清理如何断言？