python多进程使用函数封装实例

我就废话不多说了，直接看代码吧！ import multiprocessing as mp from multiprocessing import Process class MyProcess(Process): """ 自定义多进程，继承自原生Process,目的是获取多进程结果到queue """ def __init__(self, func, args, q): super(MyProcess, self).__init__() self.func = func self.args = args self.res = '' s 在Python编程中，多进程是实现并发处理的一种方式，它允许程序同时运行多个独立的执行线程，每个线程（或者说进程）可以执行不同的任务。本文将以一个具体的实例讲解如何在Python中使用函数封装来实现多进程。 我们要了解Python的`multiprocessing`模块，它是Python标准库提供的一种用于实现多进程的工具。在这个模块中，`Process`类是核心，它代表了一个单独的进程。在提供的代码实例中，我们创建了一个名为`MyProcess`的类，该类继承自`Process`，并增加了对结果的处理功能。 `MyProcess`类的初始化方法`__init__`接收三个参数：要执行的函数`func`、函数参数`args`以及一个队列`q`。队列`q`用于在进程间共享数据，因为多进程之间不能直接通信，只能通过共享数据结构如`Queue`来传递信息。在`run`方法中，`MyProcess`实例会调用`func`函数，并将结果存储在`self.res`中，然后将函数名和结果放入队列`q`。 为了使用这个封装好的`MyProcess`类，我们定义了一个名为`use_multiprocessing`的函数。该函数接受一个包含函数和参数的列表`func_list`，并创建一个队列`q`。对于列表中的每一个函数，`MyProcess`都会创建一个新的进程，启动它，并将其添加到进程列表`proc_list`。一旦所有进程都启动，我们等待它们完成（通过调用`p.join()`），然后从队列`q`中取出结果并返回。 需要注意的是，多进程的使用可能会遇到`daemonic processes are not allowed to have children`的问题。这通常是因为守护进程不能创建子进程。在示例中，有一行注释掉了的代码`os.system('export PYTHONOPTIMIZE=1')`，这可能是为了解决这个问题，但具体效果需要根据实际环境来确定。 除了多进程，代码中还涉及到了多线程的概念。Python的`threading`模块提供了创建线程的功能。例如，`fun1`和`fun2`是两个可以并发执行的函数。通过创建`Thread`对象并指定`target`参数为要执行的函数，我们可以启动新的线程。`setDaemon(True)`方法用于将线程设置为守护线程，这意味着如果主线程结束，守护线程也会随之结束，而不必等待其完成。 总结一下，本文实例讲解了如何在Python中利用`multiprocessing`模块封装函数来实现多进程，以及如何使用`threading`模块实现多线程。这两个特性都是Python并发处理的重要工具，能够帮助程序员提高程序的运行效率。在实际编程中，要根据任务的特点选择合适的并发模型，理解多进程与多线程之间的区别，以及它们在并发执行时的限制和注意事项。