ubuntu18.04视觉智能检测

机器人视觉人工智能技术

1 相关知识——基于 yolox 的人工智能检测技术

在 YOLO 诞生之前，目标检测领域热门的深度学习模型是 R-CNN 系列模

型，这一类的模型被称之为二阶段模型（two-stage），其大致思路就是先找出

可能含有物体的区域，进而再细致的找出这片区域内的物体是什么，在哪个位

置。

这一类模型的特点就是准确率较高，但是速度较慢，难以做到实时检测。

而这时候，YOLO V1应运而生，它的特点就是速度快，在牺牲部分模型性能的

情况下，能做到实时检测。

过 210 亿个晶体管，是上代 Tesla P100 的 1.37 倍，核心面积达到了创纪录的 815

平方毫米。此外，Tesla V100 还增加与深度学习高度相关的 Tensor 单元。）能

达到 68.9FPS。COCO 数据集、Tesla V100 如图 1、图 2 所示。

图 1 COCO 数据集

图 2 Tesla V100

（2）YOLOX-Tiny 和 YOLOX-Nano（只有 0.91M 参数量和 1.08G FLOPs）

比对应的 YOLOv4-Tiny 和 NanoDet3 分别高出 10% AP 和 1.8% AP。注：FLOPS

（即“每秒浮点运算次数”，“每秒峰值速度”）是“每秒所执行的浮点运算

次数”（floating-point operations per second）的缩写。它常被用来估算电脑的执

行效能，尤其是在使用到大量浮点运算的科学计算领域中。

图 4 基于 yolox 的猴脸目标检测

Yolox 的优势：

（1）代码已开源。

https://github.com/Megvii-BaseDetection/YOLOX

（ 2 ） 源 码 提 供 了 开 放 神 经 网 络 交 换 ONNX （ Open Neural Network

Exchange）格式，是一个用于表示深度学习模型的标准，可使模型在不同框架

之间进行转移。ONNX 是一种针对机器学习所设计的开放式的文件格式，用于

存储训练好的模型）；TensorRT 是 NVIDIA 开发的一个高性能的深度学习推理

（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理，

可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速；

图 5 加速前目标识别速度

图 6 使用 tensorRT 加速后目标识别速度

2 实验过程

2.1 实验 1：人工智能检测

2.1.1 实验目的

1）了解人工智能环境搭建

2）学习视觉图像采集，结合 yolox 实现相机检测

2.1.2 实验设备与道具

1）realsense D435i 相机；

2）图像采集及相关程序；

2.1.4.1 环境搭建

实验环境：实验室提供 Ubuntu 20.04 虚拟机（conda+pytorch+yolox+ros）

建议自行配置：

1）如已有虚拟机，则检查虚拟机磁盘空间。建议 100G，如 20G，则参考

https://www.bilibili.com/video/BV15V4y1x7ed?spm_id_from=333.337.search-

card.all.click 扩容，如图 7 所示。

图 7 虚拟机磁盘空间扩展