GIL、线程、多进程与计算任务
Python 性能优化与高并发#Python全栈#第二十一阶段#Python 性能优化与高并发#GIL、线程、多进程与计算任务约 889 字 · 3 分钟阅读
追问显示点击任意追问卡片可收起 / 展开
启用 GIL 的 CPython 中，线程对哪些任务更有帮助？
追问 等待 I/O 与执行纯 Python 计算有什么区别？原生扩展释放 GIL、不同解释器和自由线程构建为什么需要单独讨论？
怎样选择协程、线程与多进程来完成一个任务？
追问 任务的计算比例、阻塞依赖、数据量与执行时长怎样影响选择？为什么不能根据“并发越多越快”直接确定方案？
多进程处理计算任务时，有哪些额外成本？
追问 启动、输入序列化、进程间传输与结果汇总如何影响收益？任务很小或输入很大时，为什么可能比顺序执行更慢？
进程池中的任务和参数应满足哪些要求？
追问 函数可导入性、可序列化数据和入口保护怎样影响不同启动方式？为什么不能依赖所有平台都采用 fork，也不能照搬同一初始化行为？
进程启动后，数据库连接与 HTTP 客户端应怎样管理？
追问 继承或传递已经打开的连接有哪些风险？每个进程建立自己的资源时，如何重新计算总连接数并保证退出清理？
线程池内等待同一个池中的其他任务，可能发生什么？
追问 工作线程都被等待操作占用时，新任务由谁执行？怎样调整依赖组织或把结果汇总放到池外，避免靠增加线程暂时掩盖问题？
CPU 计算任务应怎样确定进程数量与任务粒度？
追问 实际 CPU 配额、内存、调度成本和原生库内部线程怎样共同影响结果？为什么机器逻辑核数不是唯一依据？
并行任务完成顺序与业务输出顺序有什么不同？
追问 map 与按完成结果收集的方式应怎样选择？恢复输入顺序、处理单项失败与保存部分结果分别增加哪些开销？
取消 Future 或关闭执行器，能保证所有任务立即停止吗？
追问 尚未启动与已经执行的任务有什么不同？任务包含外部写入时，怎样设计可检查的停止点、状态记录和重试边界？
自由线程 Python 是否意味着不用处理并发安全？
追问 构建方式、依赖兼容性和 GIL 实际状态怎样核对？容器自身的保护为什么不能代替跨多个操作的业务同步，迁移前应如何验证正确性与性能？
执行模型核对资料： Python：concurrent.futures、自由线程 Python。基础答题先明确启用 GIL 的 CPython 情况，自由线程作为延伸，不要求把实验结果推广到所有 Python 环境。