应用服务、探针与运行生命周期
部署、私有网络与模型服务#FDE#第十九阶段#部署、私有网络与模型服务#应用服务、探针与运行生命周期约 407 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
Web 服务与后台 Worker 为什么可能需要独立部署？
追问 扩容、超时和资源使用如何分别管理？
存活、就绪和启动探针各判断什么？
追问 模型仍在加载时如何避免重启循环？
数据库或模型临时故障是否应导致存活探针失败？
追问 重启应用能否解决外部依赖故障？
滚动更新时怎样处理运行中的请求？
追问 停止接新流量、排空连接和终止时限如何配合？
Worker 优雅退出时如何处理未完成任务？
追问 确认消息、保存状态和再次投递怎样保证正确？
资源 request 与 limit 应怎样估计？
追问 CPU、内存及临时存储不足会表现为什么？
持久数据为何不能只保存在容器文件系统？
追问 重建、迁移和多副本会造成什么丢失或冲突？
应用多副本怎样管理会话和流程状态？
追问 本地内存状态为何影响负载均衡与恢复？
扩容应用副本是否提高模型服务配额？
追问 共享下游容量如何限制真实吞吐？
如何验证部署的高可用性而非只检查副本数？
追问 节点、数据库、队列和入口是否仍有单点？