使用多线程加速文件下载任务

题目

使用多线程加速文件下载任务

信息

• 类型：问答
• 难度：⭐⭐

考点

多线程应用场景, threading模块使用, GIL理解, 线程同步

快速回答

实现多线程文件下载的关键点：

• 使用threading.Thread创建下载线程
• 为每个线程分配独立的URL和保存路径
• 使用threading.Lock保护共享资源（如进度计数器）
• 通过join()等待所有线程完成
• 注意GIL对IO密集型任务的适用性

问题场景

需要从多个URL并发下载文件（IO密集型任务），要求：
1. 使用多线程实现并发下载
2. 实时显示整体下载进度
3. 确保线程安全

原理说明

为什么使用多线程：
文件下载是典型的IO密集型任务，线程在等待网络响应时会释放GIL，允许其他线程执行，从而有效提升效率。

GIL的影响：
虽然GIL限制Python线程的并行计算能力，但对于IO操作（如网络请求、文件读写），多线程仍能显著提升性能。

代码实现

import threading
import requests
from urllib.parse import urlparse

class Downloader:
    def __init__(self, urls):
        self.urls = urls
        self.lock = threading.Lock()
        self.downloaded = 0

    def download_file(self, url, save_path):
        try:
            response = requests.get(url, stream=True)
            with open(save_path, 'wb') as f:
                for chunk in response.iter_content(chunk_size=8192):
                    if chunk:
                        f.write(chunk)
            # 更新进度（线程安全）
            with self.lock:
                self.downloaded += 1
                print(f"进度: {self.downloaded}/{len(self.urls)}")
        except Exception as e:
            print(f"下载失败 {url}: {e}")

    def run(self):
        threads = []
        for i, url in enumerate(self.urls):
            save_path = f"file_{i}_{urlparse(url).path.split('/')[-1]}"
            thread = threading.Thread(
                target=self.download_file, 
                args=(url, save_path)
            )
            thread.start()
            threads.append(thread)

        for thread in threads:
            thread.join()  # 等待所有线程结束

if __name__ == "__main__":
    urls = [
        "https://example.com/file1.zip",
        "https://example.com/file2.pdf",
        "https://example.com/file3.jpg"
    ]
    downloader = Downloader(urls)
    downloader.run()

最佳实践

• 线程数量控制： 使用线程池（ThreadPoolExecutor）避免无限制创建线程
• 错误处理： 捕获线程内异常防止整个程序崩溃
• 资源释放： 使用with语句确保网络连接和文件句柄正确关闭
• 进度显示： 使用锁保护共享计数器保证进度准确

常见错误

• 线程竞争： 未加锁导致进度计数错误（如两个线程同时修改计数器）
• 过度创建线程： 海量URL时导致系统资源耗尽，应使用线程池限制并发数
• 忽略异常： 线程内未捕获异常导致静默失败
• 路径冲突： 多个线程写入同一文件路径造成数据损坏

扩展知识

• 替代方案： 对于CPU密集型任务应使用multiprocessing模块
• 异步IO： 大量并发连接时，asyncio+aiohttp比线程更高效
• GIL工作机制： Python解释器通过GIL确保同一时间只有一个线程执行字节码
• 性能监控： 使用concurrent.futures可获取任务完成状态和结果