tensorrt-llm-0.7.0-cp310-cp310-win-amd64.whl

whl格式文件 TensorRT是由NVIDIA推出的一个高性能的深度学习推理（Inference）优化器和运行时引擎，它可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT是一个C++库，提供C++ API和Python API，主要用于NVIDIA GPU进行高性能推理加速。 TensorRT支持几乎所有的深度学习框架，包括TensorFlow、Caffe、Mxnet、Pytorch等，它可以将这些框架的模型进行优化，并生成一个针对特定NVIDIA GPU平台的高性能推理引擎。TensorRT的优化包括层融合、精度校准、内核自动调整、动态张量内存、多流执行等，以实现最优的推理性能。 TensorRT的推理过程可以分为两个阶段：建造阶段（build phase）和执行阶段（runtime phase）。在建造阶段，TensorRT会接受一个训练好的深度学习模型，对其进行优化，并生成一个针对特定硬件平台的推理引擎。在执行阶段，TensorRT会加载优化后的推理引擎，并对其进行推理计算，输出推理结果。