缓存、容量与过载保护
可观测性、成本、性能与故障处理#FDE#第二十阶段#可观测性、成本、性能与故障处理#缓存、容量与过载保护约 368 字 · 1 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
AI 应用哪些结果适合缓存？
追问 Embedding、检索候选和最终答案的时效要求有何差别？
语义缓存可能造成哪些误命中？
追问 相似问题但产品版本不同应怎样识别？
答案缓存如何绑定权限与知识版本？
追问 同租户不同角色的结果能否直接复用？
缓存失效如何响应文档删除和权限撤销？
追问 失效事件延迟时有哪些保守处理方式？
缓存击穿或同时回源怎样限制？
追问 请求合并、租约与随机过期如何发挥作用？
容量规划应采用哪些负载数据？
追问 峰值、并发、任务结构和预留空间如何计算？
限流、排队和拒绝请求怎样选择？
追问 等待太久的任务是否仍有业务价值？
多个客户如何避免互相争抢全部容量？
追问 配额、公平调度和优先级怎样设计？
背压如何从下游传到上游？
追问 队列增长时为何不应无限接受新请求？
压测怎样找到系统可持续运行的边界？
追问 长时间负载、恢复时间和排队积压怎样验证？