没有合适的资源?快使用搜索试试~ 我知道了~
TensorRTTraining-TRT8.6.1-Part5-V1.1.pdf
需积分: 5 0 下载量 102 浏览量
2024-07-05
17:08:43
上传
评论
收藏 4.65MB PDF 举报
温馨提示
![preview](https://dl-preview.csdnimg.cn/89518151/0001-364ee627a9b0448b9cd7e3984bf63183_thumbnail.jpeg)
![preview-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/scale.ab9e0183.png)
试读
43页
TensorRT 深度学习 使用教程 基于 8.6.1 版本 Nvidia出品 人工智能
资源推荐
资源详情
资源评论
![deb](https://img-home.csdnimg.cn/images/20210720083646.png)
![deb](https://img-home.csdnimg.cn/images/20210720083646.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![deb](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![vsdx](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![csv](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/release/download_crawler_static/89518151/bg1.jpg)
TensorRT 教程
基于 8.6.1 版本
Part 5
NVIDIA DevTech. Meng Wang
2023年7月6日
去年基于 8.2.3 版本的教程视频:BV15Y4y1W73E
今年更新的内容会用 ## 标出
![](https://csdnimg.cn/release/download_crawler_static/89518151/bg2.jpg)
2
TensorRT性能优化
大纲
• 概述
• 性能分析工具
• 性能优化技巧
• 性能优化实例
![](https://csdnimg.cn/release/download_crawler_static/89518151/bg3.jpg)
3
概述
• 性能优化的核心是充分发挥GPU算力
• Nsight system是分析性能瓶颈的关键工具
• trtexec除了构建engine,也是非常实用的性能测试工具
• 计算图优化和TRT plugin是性能优化的主要手段
• 本次讲座主要基于Framework->ONNX->TRT workflow
![](https://csdnimg.cn/release/download_crawler_static/89518151/bg4.jpg)
4
概述
GPU specifications
• 要充分发挥Tensor Core算力
• 数据类型:TF32,FP16,INT8,FP8
https://resources.nvidia.com/en-us-tensor-core/nvidia-tensor-core-gpu-datasheet
![](https://csdnimg.cn/release/download_crawler_static/89518151/bg5.jpg)
5
概述
优化目标
• 推理框架的性能优化的目标:
• 尽可能地把所有非GEMM kernel融合起来
• GEMM kernel (Tensor Core )占比较高,例如在90%以上
剩余42页未读,继续阅读
资源评论
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/default.jpg!1)
AIVoyager
- 粉丝: 340
- 资源: 6
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)