TensorRT python多进程推理踩坑（csdn）————程序.pdf

在使用TensorRT进行深度学习推理时，特别是在Python环境中，可能会遇到多线程或多进程的优化问题。本篇文章主要探讨了在TensorRT中实现多线程推理以及如何在Python的multiprocessing库下正确运行多进程推理的注意事项。 1. **TensorRT多线程推理** 在多线程环境下，TensorRT需要在每个线程内部创建独立的上下文环境以避免资源冲突。`detector`类的初始化中，我们创建了一个CUDA设备上下文`ctx`，并确保在推理前后正确地进行`push`和`pop`操作。`ctx.pop()`在初始化后立即执行是为了释放当前线程对GPU资源的持有，防止后续线程无法正常创建上下文。在推理前，通过`ctx.push()`重新获取GPU上下文，而在推理结束后再次`pop`，这样可以确保线程之间的资源隔离，避免潜在的错误。 2. **multiprocessing多进程运行** 当在Python中使用CUDA库（如TensorRT）进行多进程运行时，必须注意CUDA不能在子进程中重新初始化。因此，我们需要设置multiprocessing的启动方法为'spawn'，这允许子进程从零开始创建新的Python解释器。两种设置方法如下： - 第一种方法：通过`mp.set_start_method('spawn')`全局设置启动方法。但要注意，这个方法只能调用一次，多次调用会导致错误。 - 第二种方法：在创建进程或队列时，使用`get_context('spawn')`来指定使用'spawn'方法。 3. **多进程推理的参数传递** 使用multiprocessing进行多进程推理时，所有传入参数都必须是可pickle序列化的，因为multiprocessing会将这些参数复制到新的进程中。如果参数包含不可序列化的对象，如自定义类的实例，可能会导致pickle错误。在给定的示例中，当尝试序列化局部对象`_createenviron..encode`时失败，提示`AttributeError`。因此，确保所有传递给子进程的参数都是Python的基本类型（如None, True）或者能够被pickle序列化的对象至关重要。 总结来说，使用TensorRT进行多线程或多进程推理时，需要注意线程间资源的正确管理和进程间的参数传递方式。在Python的multiprocessing环境中，尤其要牢记CUDA初始化的限制和使用'spawn'方法的重要性。同时，确保所有传递的参数都能通过pickle序列化，以避免在进程间通信时引发错误。