TensorRT python多进程推理踩坑（csdn）————程序.pdf
版权申诉
5星 · 超过95%的资源 196 浏览量
2021-12-04
14:21:20
上传
评论
收藏 85KB PDF 举报 
1、TensorRT 多线程推理
此时需要在每个线程内创建上下文，且在初始化 ctx 之后进行 ctx.pop(),推理
操作前，ctx.push(),运行结束前运行 ctx.pop()
class detector():
def __init__(device):
self.ctx = cuda.Device(device).make_context()
self.engine = self.get_engine
self.context = self.get_context
self.inputs, self.outputs, self.bindings, self.stream =
self.allocate_buffers(self.engine)
self.inference_fn = self.do_inference if trt.__version__[0] <
'7' \
else self.do_inference_v2
#此处 pop 必须添加，实测不添加会报错
self.ctx.pop()
def do_inference_v2(self,context, bindings, inputs, outputs,
stream):
#此处必须添加 push
self.ctx.push()
# Transfer input data to the GPU.
[cuda.memcpy_htod_async(inp.device, inp.host, stream) for inp
in inputs]
# Run inference.
context.execute_async_v2(bindings=bindings,
stream_handle=stream.handle)
# Transfer predictions back from the GPU.
[cuda.memcpy_dtoh_async(out.host, out.device, stream) for out
in outputs]
# Synchronize the stream
stream.synchronize()
# Return only the host outputs.
return [out.host for out in outputs]
def detect():
"""
pre process
"""
res = self.do_inference_v2(context, bindings, inputs,
outputs, stream)
"""
post process
资源评论
qq_417586122023-07-10资源太好了，解决了我当下遇到的难题，抱紧大佬的大腿~- qq_275831192023-09-04资源使用价值高，内容详实，给了我很多新想法，感谢大佬分享~
- kamei3102023-11-01感谢大佬，让我及时解决了当下的问题，解燃眉之急，必须支持！
- 2301_766474872023-03-02资源很赞，希望多一些这类资源。
一诺网络技术
- 粉丝: 0
- 资源: 2万+
下载权益
C知道特权
VIP文章
课程特权
VIP享7折，此内容立减3.57元 开通VIP
