这篇文章主要介绍了python多进程并发demo实例解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
前言
下午需要简单处理一份数据,就直接随手写脚本处理了,但发现效率太低,速度太慢,就改成多进程了;
程序涉及计算、文件读写,鉴于计算内容挺多的,就用多进程了(计算密集)。
代码
import pandas as pd
from pathlib import Path
from concurrent.futures import ProcessPoolExecutor
parse_path = '/data1/v-gazh/CRSP/dsf