Python快速而美丽[v1.0.0][线程池]

线程池 当程序中需要创建大量生存期很短的线程时，应该考虑使用线程池，因为线程的创建成本较高，每次创建都要与系统交互，线程池在系统启动时就创建大量空闲的线程，程序只要将一个函数提交给线程池，线程池就会启动一个空闲的线程来执行它，当该函数执行结束后，该线程并不会死亡，而是再次返回到线程池中变成空闲状态，等待下一个函数 使用线程池可以有效的控制系统中并发线程的数量，线程池的最大线程数就限制了并发的上限 线程池的基类是concurrent.futures模块中的Executor，它提供了两个子类ThreadPoolExecutor和ProcessPoolExecutor前者用于创建线程池后者用于创建进 【Python线程池详解】 线程池是一种管理线程资源的有效机制，特别是在处理大量短期、并发的任务时。在Python中，线程池的实现主要基于`concurrent.futures`模块，该模块提供了一个抽象接口来管理和执行异步计算。线程池通过预先创建一组线程，从而避免了频繁创建和销毁线程的开销，提高了程序运行效率。 1. **线程池的优势** - **降低资源消耗**：线程池避免了重复创建和销毁线程，降低了系统的资源消耗。 - **任务调度**：线程池可以控制并发执行的线程数量，避免过多线程导致系统资源耗尽。 - **复用线程**：线程执行完任务后不会立即销毁，而是回到线程池中，等待执行新的任务。 2. **线程池的基类Executor** `Executor`是`concurrent.futures`模块中的基类，它定义了线程池的基本操作，包括提交任务、关闭线程池等。Python提供了两个基于`Executor`的子类： - **ThreadPoolExecutor**：用于创建线程池，适合于I/O密集型任务，如网络请求、文件读写等。 - **ProcessPoolExecutor**：用于创建进程池，适合于CPU密集型任务，利用多核处理器提高计算性能。 3. **Executor的常用方法** - `submit(fn, *args, **kwargs)`：提交一个任务到线程池，`fn`是执行的函数，`*args`和`**kwargs`是传递给`fn`的参数。返回一个`Future`对象，代表未来的任务结果。 - `map(func, *iterables, timeout=None, chunksize=1)`：类似内置的`map()`函数，但以并发的方式执行，返回一个可迭代的`Future`对象列表。 - `shutdown(wait=True)`：关闭线程池，`wait=True`表示等待所有任务执行完毕后再关闭，`wait=False`则立即关闭，不等待未完成的任务。 4. **Future对象** `submit()`方法返回的`Future`对象提供了以下方法： - `cancel()`：尝试取消任务，如果任务已经开始执行，将无法取消并返回`False`，否则返回`True`。 - `cancelled()`：检查任务是否已被成功取消。 - `running()`：检查任务是否正在执行。 - `done()`：判断任务是否已经完成（无论成功或失败）。 - `result(timeout=None)`：获取任务的返回值，如果任务未完成，可以设置`timeout`参数等待。 - `exception(timeout=None)`：获取任务执行过程中抛出的异常，如果没有异常则返回`None`。 - `add_done_callback(fn)`：添加一个回调函数，当任务完成时，该函数会被自动调用。 5. **代码示例** 下面的代码展示了如何使用`ThreadPoolExecutor`创建线程池，提交任务并处理结果： ```python from concurrent.futures import ThreadPoolExecutor import threading import time def action(max): my_sum = 0 for i in range(max): print(threading.current_thread().name + ' ' + str(i)) my_sum += i return my_sum # 创建一个包含2条线程的线程池 pool = ThreadPoolExecutor(max_workers=2) # 向线程池提交任务 future1 = pool.submit(action, 50) future2 = pool.submit(action, 100) # 检查任务状态 print(future1.done()) time.sleep(3) print(future2.done()) # 获取任务结果 result1 = future1.result() result2 = future2.result() # 关闭线程池 pool.shutdown() ``` 6. **应用场景** 线程池常用于处理大量短生命周期的任务，如批量下载、定时任务执行、异步任务调度等场景，可以有效提高系统的响应速度和吞吐量。 总结，Python的线程池机制通过`concurrent.futures`模块提供了高效的并发执行能力，通过线程池和`Future`对象的组合，我们可以轻松地管理和监控异步任务，提升程序的执行效率。在实际开发中，合理利用线程池可以优化程序性能，同时减少资源浪费。