Python多线程并发执行_Python多线程并发编程实现方法

Python多线程仅适用于I/O密集型任务，CPU密集型任务受GIL限制无法真正并行；应优先使用ThreadPoolExecutor而非裸Thread，并注意join、异常处理、锁及threading.local的正确用法。

Python 的 threading 模块本身支持并发执行，但受 GIL 限制，CPU 密集型任务无法真正并行；I/O 密集型任务（如网络请求、文件读写）才适合用多线程提速。

什么时候该用 threading.Thread 直接创建线程

适用于逻辑简单、线程生命周期短、不需要统一管理返回值的场景。比如批量发 HTTP 请求、监听多个 socket 连接、定时轮询状态等。

常见错误现象：Thread 启动后主线程直接退出，子线程被强制终止 —— 忘记调用 join()。

• 必须显式调用 t.join() 等待线程结束，否则主线程结束即整个进程退出
• 避免在 run() 中抛出未捕获异常，否则静默失败；建议用 try/except 包裹主体逻辑
• 共享变量需加 threading.Lock，否则出现竞态（例如多个线程同时修改一个全局计数器）

用 concurrent.futures.ThreadPoolExecutor 管理线程池更稳妥

比裸写 Thread 更适合实际项目：自动复用线程、统一异常处理、支持 map 和 submit、可设最大并发数。

使用场景：需要并发执行同一函数多次（如下载 100 个网页）、希望控制资源消耗、需要收集所有结果或超时中断。

参数差异：max_workers 默认是 min(32, os.cpu_count() + 4)，对 I/O 密集型任务可适当调高（如设为 20～50），但不是越大越好 —— 过多线程会加剧上下文切换开销。

示例：

from concurrent.futures import ThreadPoolExecutor
import requests
def fetch_url(url):
return len(requests.get(url).content)
urls = ["https://www./link/5f69e19efaba426d62faeab93c308f5c"] * 10
with ThreadPoolExecutor(max_workers=5) as executor:
results = list(executor.map(fetch_url, urls))

threading.local 解决线程间数据隔离问题

当每个线程需要独立副本的变量（如数据库连接、用户上下文、日志 trace_id），不能共用全局变量，也不能靠传参层层透传时，threading.local 是最轻量的方案。

容易踩的坑：local 对象属性在不同线程中互不可见，但在同一线程内跨函数有效；若误在主线程提前赋值，子线程里读不到。

• 不要把 threading.local() 实例作为模块级全局变量后直接赋值，应在每个线程内首次访问时初始化
• 不适用于需要在线程间传递数据的场景 —— 它的设计目标就是“隔离”，不是“通信”
• 与 asyncio 不兼容，协程中应改用 contextvars.ContextVar

GIL 让多线程无法加速 CPU 密集型任务

这是 Python 多线程最常被误解的一点：启动 10 个线程跑纯计算（如矩阵乘法、加密解密），耗时几乎等于单线程 —— 因为 CPython 解释器只允许一个线程执行字节码。

性能影响明显：实测 sum(i*i for i in range(10**7)) 用 4 个线程并行，总耗时比单线程还长 10%～20%，主因是线程调度和 GIL 切换开销。

替代方案只有两个：

• CPU 密集型任务 → 改用 multiprocessing（进程间内存不共享，注意序列化开销）
• 或用 ctypes/cffi 调用 C 扩展，在 C 层释放 GIL

别指望靠增加线程数突破 GIL，那是徒劳的。真正要并发提速，先分清任务类型再说。