官方YOLOv8模型训练和部署.rar

## Official YOLOv8 训练自己的数据集并基于NVIDIA TensorRT和华为昇腾端到端模型加速以及安卓手机端部署 说明： 本项目支持YOLOv8的对应的package的版本是：[ultralytics-8.0.0](https://pypi.org/project/ultralytics/8.0.0/) ### 1.YOLO的一些发展历史 + **YOLOv1：2015年Joseph Redmon和** **Ali Farhadi等** **人（华盛顿大学）** + **YOLOv2：2016年Joseph Redmon\**和\**\**Ali Farhadi\**等人\**（华盛顿大学）\**** + [**YOLOv3**](http://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247484179&idx=1&sn=c127ae5aac72f52ca7bb39d78512a190&chksm=f9a2719cced5f88a7d92ef5dbb1c010f957d539a3a6acafe85f1e4fa888a39f252ddb8154175&scene=21#wechat_redirect)**：2018年Joseph Redmon\**和\**\**Ali Farhadi\**等人\**（华盛顿大学）\**** + [**YOLOv4**](http://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247498390&idx=1&sn=62ec5122def0ceb967761d628799a43b&chksm=f9a18819ced6010f325c7d9af1e96a110ab64fbb96c2a085d2073e799c16704ab86a0d10547a&scene=21#wechat_redirect)**：2020年Alexey Bochkovskiy和Chien-Yao Wang等人** + [**YOLOv5**](http://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247500275&idx=2&sn=a862a79afa87b5ce85fff8a6da6ab34a&chksm=f9a1b37cced63a6abf54e8a778189278bb9c14d2b3fe8f9d3d7ac403906bbf46ba21c179cc91&scene=21#wechat_redirect)**：2020年Ultralytics公司** + **YOLOv6：2022年美团公司** + [**YOLOv7**](http://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247550919&idx=2&sn=884a1f6f2c969d67a4c532511b8240a9&chksm=f9a17548ced6fc5e44e8d7db791181f90e2d8f024c14c7765726d0face59e6c8797caf029f1a&scene=21#wechat_redirect)**：2022年Alexey Bochkovskiy\**和Chien-Yao Wang\**等人** + **YOLOv8：2023年Ultralytics公司** 上述简单罗列了 **YOLOv数字系列** 的发布时间和作者/单位机构，因为YOLO系列生态太猛了，比如还有知名的PP-YOLO系列、YOLOX等等工作。 ### 2. YOLOv8的相关资源 + YOLOv8 Github: https://github.com/ultralytics/ultralytics + ~~YOLOv8的权重：https://github.com/ultralytics/assets/releases~~ + YOLOv8文档： https://v8docs.ultralytics.com/ + ~~YOLOv8 Python package源码库：https://test.pypi.org/simple/ultralytics/~~ ### 3.YOLOv5 Vs YOLOv8 + **YOLOv5**  1. **Backbone**：CSPDarkNet结构，主要结构思想的体现在C3模块，这里也是梯度分流的主要思想所在的地方； 2. **PAN-FPN**：双流的FPN，必须香，也必须快，但是量化还是有些需要图优化才可以达到最优的性能，比如cat前后的scale优化等等，这里除了上采样、CBS卷积模块，最为主要的还有C3模块（记住这个C3模块哦）； 3. **Head**：Coupled Head+Anchor-base，毫无疑问，YOLOv3、YOLOv4、YOLOv5、YOLOv7都是Anchor-Base的，后面会变吗？ 4. **Loss**：分类用BEC Loss，回归用CIoU Loss。 + **YOLOv8**  具体改进如下： 1. **Backbone**：使用的依旧是CSP的思想，不过YOLOv5中的C3模块被替换成了C2f模块，实现了进一步的轻量化，同时YOLOv8依旧使用了YOLOv5等架构中使用的SPPF模块； 2. **PAN-FPN**：毫无疑问YOLOv8依旧使用了PAN的思想，不过通过对比YOLOv5与YOLOv8的结构图可以看到，YOLOv8将YOLOv5中PAN-FPN上采样阶段中的卷积结构删除了，同时也将C3模块替换为了C2f模块； 3. **Decoupled-Head**：是不是嗅到了不一样的味道？是的，YOLOv8走向了Decoupled-Head； 4. **Anchor-Free**：YOLOv8抛弃了以往的Anchor-Base，使用了**Anchor-Free**的思想； 5. **损失函数**：YOLOv8使用VFL Loss作为分类损失，使用DFL Loss+CIOU Loss作为分类损失； 6. **样本匹配**：YOLOv8抛弃了以往的IOU匹配或者单边比例的分配方式，而是使用了Task-Aligned Assigner匹配方式。 + **SPP Vs SPPF:**    + **C3 Vs C2f:**  针对C3模块，其主要是借助CSPNet提取分流的思想，同时结合残差结构的思想，设计了所谓的C3 Block，这里的CSP主分支梯度模块为BottleNeck模块，也就是所谓的残差模块。同时堆叠的个数由参数n来进行控制，也就是说不同规模的模型，n的值是有变化的。 其实这里的梯度流主分支，可以是任何之前你学习过的模块，比如，美团提出的YOLOv6中就是用来重参模块RepVGGBlock来替换BottleNeck Block来作为主要的梯度流分支，而百度提出的PP-YOLOE则是使用了RepResNet-Block来替换BottleNeck Block来作为主要的梯度流分支。而YOLOv7则是使用了ELAN Block来替换BottleNeck Block来作为主要的梯度流分支。 C3模块的Pytorch的实现如下： ```python class C3(nn.Module): # CSP Bottleneck with 3 convolutions def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5): # ch_in, ch_out, number, shortcut, groups, expansion super().__init__() c_ = int(c2 * e) # hidden channels self.cv1 = Conv(c1, c_, 1, 1) self.cv2 = Conv(c1, c_, 1, 1) self.cv3 = Conv(2 * c_, c2, 1) # optional act=FReLU(c2) self.m = nn.Sequential(*(Bottleneck(c_, c_, shortcut, g, e=1.0) for _ in range(n))) def forward(self, x): return self.cv3(torch.cat((self.m(self.cv1(x)), self.cv2(x)), 1)) ```  C2f模块就是参考了C3模块以及ELAN的思想进行的设计，让YOLOv8可以在保证轻量化的同时获得更加丰富的梯度流信息。  C2f模块对应的Pytorch实现如下： ```python class C2f(nn.Module): # CSP Bottleneck with 2 convolutions def __init__(self, c1, c2, n=1, shortcut=False, g=1, e=0.5): # ch_in, ch_out, number, shortcut, groups, expansion super().__init__() self.c = int(c2 * e) # hidden channels self.cv1 = Conv(c1, 2 * self.c, 1, 1) self.cv2 = Conv((2 + n) * self.c, c2, 1) # optional act=FReLU(c2) self.m = nn.ModuleList(Bottleneck(self.c, self.c, shortcut, g, k=((3, 3), (3, 3)), e=1.0) for _ in range(n)) def forward(self, x): y = list(self.cv1(x).split((self.c, self.c), 1)) y.extend(m(y[-1]) for m in self.m) return self.cv2(torch.cat(y, 1)) ``` + **PAN-FPN改进了什么？** YOLOv5的Neck部分的结构图如下：  YOLOv6的Neck部分的结构图如下:  YOLOv8的结构图：  可以看到，相对于YOLOv5或者YOLOv6，YOLOv8将C3模块以及RepBlock替换为了C2f，同时细心可以发现，相对于YOLOv5和YOLOv6，YOLOv8选择将上采样之前的`1×1`卷积去除了，将Backbone不同阶段输出的特征直接送入了上采样操作。 + **Head部分都变了什么呢？** 先看一下YOLOv5本身的Head（Coupled-Head）：  而YOLOv8则是使用了Decoupled-Head，回归头的通道数也变成了`4*reg_max`的形式：  + **损失函数** 对于YOLOv8，其分类损失为VFL Loss，其回归损失为CIOU Loss+DFL的形式，这里Reg_max默认为16。 VFL主要改进是提出了非对称的加权操作，FL和QFL都是对称的。而非对称加权的思想来源于论文PISA，该论文指出首先正负样本有不平衡问题，即使在正样本中也存在不等权问题，因为mAP的计算是主正样本。  q是label，正样本时候q为bbox和gt的IoU，负样本时候q=0，当为正样本时候其实没有采用FL，而是普通的BCE，只不过多了一个自适应IoU加权，用于突出主样本。而为负样本时候就是标准的FL了。可以明显发现VFL比QFL更加简单，主要特点是正负样本非对称加权、突出正样本为主样本。 针对这里的DFL（Distribution Focal Loss），其主要是将框的位置建模成一个 general distribution，让网络快速的聚焦于和目标位置距离近的位置的分布。 + **正负样本的匹配** 标签分配是目标检测非常重�