Yolact/Yolov5的C++实现，包括ONNX(CPU/CUDA), TensorRT版本。

# YOLACT/YOLOV5 ## Introduction Yolact/Yolov5的C++实现，包括ONNX(CPU/CUDA), TensorRT版本。 ## Requirements * ONNX(CPU): ONNXRuntime 1.10.0(Build from source) * ONNX(CUDA): ONNXRuntime 1.10.0(Build from source), CUDA 11.3, CUDNN 8.2.1 * TensorRT: TensorRT 8.0.3 GA, CUDA 11.3, CUDNN 8.2.1 * 除此之外，还需：gcc(支持C++17), CMake 2.8, OpenCV 4.5.0(Build from source)。 * OS: Linux(Ubuntu 20.04) ***其他版本的有效性未经过验证*** ## Build && Install 1. 进入仓库根目录 `$ cd ./$ROOT` 2. 打开CMakeLists.txt, 设置如下项 `$ vim ./CMakeLists.txt` * **CMAKE\_INSTALL\_PREFIX**: 安装路径 * **OpenCV_DIR**: OpenCV路径 * **WITH_TENSORRT**: 置为ON编译TensorRT, 否则编译ONNX * **BUILD\_ONNX\_WITH\_CUDA**: 置为ON开启CUDA编译，仅在WITH_TENSORRT为OFF时有效 * **LIB_CUDA**: CUDA Lib路径 * **LIB_TENSORRT**: TensorRT Lib路径 * **LIB_ONNX**: ONNX Lib路径 * **CUDA_include**: CUDA头文件 * **TensorRT_common**: TensorRT common头文件 * **TensorRT_include**: TensorRT头文件 * **onnx_include**: ONNX头文件 * **onnx\_session\_include**: ONNX session头文件 3. 进入编译文件夹 `$ mkdir build && cd build` 4. 生成Makefile `$ cmake ../` 5. 编译并安装 `$ make && make install` ## Run * 执行生成的二进制文件: `$ ./main_yolov5 [img]`或`$ ./main_yolact [img]`，将img替换为待检测图像路径。程序将会输出模型基本信息，检测结果，并保存检测图像`final.jpg`至当前文件夹。 ## Development ### Quick start * 可参考`main_yolov5.cxx`及`main_yolact.cxx`。 * 将`model_path`修改为正确路径，读取检测图片，创建接收检测结果的对应`vector`变量。将上述内容作为参数，调用模型对应API，即可完成检测。 ### API Reference * 参见头文件`onnx.h` `tensorrt.h` `utils.h` `yolact.h` `yolov5.h` ### Features * 项目使用CMake构建，编译顺序及链接规则均由CMake指定。模型推理框架：ONNX和TensorRT使用预处理方式控制，仅其中之一参与编译。 * 模型被封装进`Model`结构体，构造函数仅保存模型路径，需要调用`Model::init()`完成成员变量初始化、缓存区初始化、CUDA初始化等操作。 * `Model`析构函数会完全释放上述成员，不会出现内存泄露，GPU显存泄露等情况。 * ONNX和TensorRT的`Model`API一致，可在各自的头文件中设置CUDA_DEVICE。 * 为避免对象复制和临时变量生成，函数形参中无须改变的，均使用`const &`方式传入，需要改变的，使用`&`方式传入（原对象会被修改）。不使用返回值的方式返回函数结果，`int`型返回值均为错误码，按照惯例，0为无错误。 * `yolact.cxx/yolov5.cxx`文件头部定义了大量的`const`变量，代码中有注释，其中一部分为算法模型官方使用的变量，不要手动修改！另一部分可修改的参数，如置信度阈值、IoU阈值等。*后续开发可将该部分移到配置文件中*。 * 确保使用CUDA推理时，GPU有足够的显存空间。 * 使用ONNX CPU推理时，可手动在`onnx.h`中设置使用的线程数。 ### Yolov5 * 读取图像及模型。等比例Resize图像，将高度变换为`default_height`。 * 根据图像尺寸、`overlap`等值构造`CropPadInfo`对象，切分图像。 * 调用`letterbox()`将图像变换为模型输入Tensor尺寸。 * 将`Mat`格式图像转为`vector<float>`格式的输入Tensor。 * 根据`out_size`，构造`vector<float>`格式的模型输出Tensor。 * 调用`inference()`执行推理。 * 调用`single_nms()`取出模型输出，执行小图类内NMS。 * 合并后执行大图类间NMS，返回结果。 * 调用`print_and_draw()`打印并保存结果。 ### Yolact * 读取图像及模型。等比例Resize图像，将高度变换为`default_height`。 * 调用`relief()`进行浮雕处理。 * 根据图像尺寸、`overlap`等值构造`CropPadInfo`对象，切分图像。 * 将`Mat`格式图像转为`vector<float>`格式的输入Tensor。 * 定义`vector<Mat> merged_mask(num_classes)`保存各个类别的mask检测结果，`num_classes`为类别数量。 * 根据`out_size`，构造`vector<float>`格式的模型输出Tensor。 * 调用`inference()`执行推理。 * 调用`yolact_detect()`取出mask, score等输出，先进行小图类内NMS，再根据设定的`classes_not_ccnms`进行对应类的小图类间NMS。 * 调用`post_processing()`对bbox, mask, proto等输出进行处理，得出处理后的bbox, mask。 * 调用`extract_contours()`根据合并后的mask提取contours。后续针对根部熔合线和焊道进行处理：`remove_gb_overlap()`移除根部熔合线之间的重叠, `remove_bends()`移除轮廓中的弯折，`extend_curve()`将多段轮廓连接为一个完整的轮廓。 * 返回结果。