简介
� 使用多线程异步操作 rknn 模型, 提高 rk3588/rk3588s 的 NPU 使用率, 进而提高推
理帧数(rk3568 之类修改后应该也能使用, 但是作者本人并没有 rk3568 开发板......)
� 此分支使用模型 yolov5s_relu_tk2_RK3588_i8.rknn, 将 yolov5s 模型的激活函数 silu
修改为为 relu,在损失一点精度的情况下获得较大性能提升,详情见于
rknn_model_zoo
� 此项目的 c++实现
更新说明
� 无
使用说明
演示
� 将仓库拉取至本地, 并将 Releases 中的演示视频放于项目根目录下, 运行 main.py
查看演示示例
� 切换至 root 用户运行 performance.sh 可以进行定频操作(约等于开启性能模式)
� 运行 rkcat.sh 可以查看当前温度与 NPU 占用
部署应用
� 修改 main.py 下的 modelPath 为你自己的模型所在路径
� 修改 main.py 下的 cap 为你想要运行的视频/摄像头
� 修改 main.py 下的 TPEs 为你想要的线程数, 具体可参考下表
� 修改 func.py 为你自己需要的推理函数, 具体可查看 myFunc 函数
多线程模型帧率测试
� 使用 performance.sh 进行 CPU/NPU 定频尽量减少误差
� 测试模型为 yolov5s_relu_tk2_RK3588_i8.rknn
� 测试视频见于 Releases
