Python中多线程与多进程的区别及适用场景

题目

Python中多线程与多进程的区别及适用场景

信息

• 类型：问答
• 难度：⭐

考点

多线程 vs 多进程, GIL影响, I/O密集型 vs CPU密集型任务

快速回答

主要区别和适用场景：

• 多线程：共享内存，适合I/O密集型任务（如网络请求、文件读写）
• 多进程：独立内存，适合CPU密集型任务（如数学计算）
• 关键因素：Python的GIL（全局解释器锁）会限制多线程的CPU并行能力

1. 核心区别

多线程 (threading)：

• 共享同一进程的内存空间
• 线程间通信简单（直接读写共享变量）
• 创建/切换开销小

多进程 (multiprocessing)：

• 每个进程有独立内存空间
• 进程间通信需特殊机制（Queue, Pipe等）
• 创建/切换开销较大

2. GIL（全局解释器锁）的影响

Python解释器的GIL导致：

• 多线程无法真正并行执行CPU密集型代码
• 多进程可绕过GIL限制，实现多核并行
• I/O操作期间GIL会被释放，多线程仍有效

3. 代码示例对比

# CPU密集型任务 - 多进程更优
import time
from threading import Thread
from multiprocessing import Process

def cpu_task():
    sum(range(10**7))  # 模拟CPU计算

# 多线程测试
start = time.time()
threads = [Thread(target=cpu_task) for _ in range(4)]
for t in threads: t.start()
for t in threads: t.join()
print(f"Threads time: {time.time()-start:.2f}s")

# 多进程测试
start = time.time()
processes = [Process(target=cpu_task) for _ in range(4)]
for p in processes: p.start()
for p in processes: p.join()
print(f"Processes time: {time.time()-start:.2f}s")

输出示例：
Threads time: 5.2s
Processes time: 1.8s

4. 最佳实践

• 选择多线程当：任务涉及大量I/O等待（网络请求、磁盘读写）
• 选择多进程当：需要大量CPU计算（数据处理、科学计算）
• 混合使用：多进程 + 进程内多线程（如Web服务器处理并发请求）

5. 常见错误

• 在CPU密集型任务中使用多线程（受GIL限制）
• 多进程间共享可变状态导致数据不一致
• 忘记join()导致主程序提前退出
• 进程/线程创建过多导致资源耗尽

6. 扩展知识

• 协程：asyncio适合高并发I/O操作，比线程更轻量
• 进程池：multiprocessing.Pool简化进程管理
• GIL工作机制：每个Python进程只有一个GIL，线程必须获取GIL才能执行字节码