Python的并行任务（进程池、线程池）

在Python中，并行任务的处理可以通过进程池（multiprocessing.Pool）和线程池（concurrent.futures.ThreadPoolExecutor）来实现。这两种方式都是为了提高程序的性能，尤其是在面对I/O密集型或CPU密集型的任务时。

进程池（Multiprocessing Pool）

进程池适合于CPU密集型的任务。Python的multiprocessing模块提供了一个简单的接口，可以让我们轻松地创建和管理子进程。以下是使用进程池的基本步骤：

1. 导入所需的模块。
2. 定义一个需要并行执行的函数。
3. 创建一个进程池并分配任务。

示例代码：

import multiprocessing
import time

def worker(num):
    """工作函数，计算平方并返回结果"""
    print(f"进程 {num} 开始工作...")
    time.sleep(2)  # 模拟耗时操作
    result = num * num
    print(f"进程 {num} 计算完成，结果是 {result}")
    return result

if __name__ == '__main__':
    print("主进程开始")
    pool = multiprocessing.Pool(processes=4)  # 创建进程池，最多同时处理4个进程
    results = pool.map(worker, range(5))  # 将任务分配给进程池
    pool.close()  # 不再接受新的任务
    pool.join()   # 等待所有进程完成

    print("所有进程完成，结果:", results)

在上面的例子中，我们创建了一个进程池，并使用map方法将任务分配给池中的进程。每个工作函数会进行平方运算，并模拟延时。最后，我们会等待所有进程完成并打印结果。

线程池（Thread Pool）

线程池适合于I/O密集型的任务，比如网络请求、文件操作等。Python的concurrent.futures模块提供了线程池的实现，易于使用且功能强大。

示例代码：

import concurrent.futures
import time

def fetch_data(num):
    """模拟一个I/O操作的函数"""
    print(f"线程 {num} 开始请求数据...")
    time.sleep(2)  # 模拟网络延迟
    result = f"数据 {num}"
    print(f"线程 {num} 数据获取完成: {result}")
    return result

if __name__ == '__main__':
    print("主线程开始")
    with concurrent.futures.ThreadPoolExecutor(max_workers=4) as executor:
        futures = {executor.submit(fetch_data, i): i for i in range(5)}
        for future in concurrent.futures.as_completed(futures):
            num = futures[future]
            try:
                result = future.result()
                print(f"线程 {num} 返回结果: {result}")
            except Exception as e:
                print(f"线程 {num} 发生异常: {e}")

    print("所有线程完成")

在这个例子中，我们使用ThreadPoolExecutor创建一个线程池，并通过submit方法提交任务。通过as_completed方法可以按完成顺序处理结果，这对于处理异步任务特别有用。

总结

在Python中，并行任务能够显著提高应用程序的性能。对于CPU密集型任务，multiprocessing.Pool是一个不错的选择，而对于I/O密集型任务，ThreadPoolExecutor则更加高效。了解这两者的使用场景和实现方式，能够帮助你写出更高效的Python代码。