【Demo】基于语义分割的矿区无人机影像地物提取实验.zip

## UAVI_Seg_Pytorch - 基于语义分割的矿区无人机影像地物提取实验 ### 1. 实验数据介绍 - 无人机拍摄的高分辨率矿区影像图 - 实验室进行标注的对应label - v0219版本：进行裁剪后的640 x 640的图像与label数据 - v0225&v0301版本及之后：进行裁剪后的320 x 320的图像与label数据，并更换测试集 - v0607及所有详细数据调整情况：[实验数据版本调整](https://github.com/yearing1017/Deeplabv3_Pytorch/issues/2) ### 2. 实验环境介绍 - GPU等服务器资源不加介绍 - Python3.6、Pytorch、OpenCV、torchvision、numpy等必备环境 - 图像切割工具包GDAL：仅在win系统下可运行 ### 3. 实验流程介绍 - 原图数据和标注好的label数据，label是灰度的图像，且每个像素属于该类（0-3）共四类 - 切割原图和相应的label数据为640 x 640的图像，后期改为320大小进行实验 - 将切割好的原图和label对应好，使用代码进行可视化（因为标注的label是灰度，直观上看是黑色一片） - 对数据进行数据增强，切割完成才有对应的几百张数据，增强至几千张 - 增强后的数据也要一对一对应好，建议一开始就取两者相同的图像名，使用可视化进行测试 - 数据划分，分为训练集、验证集、测试集；按照6:2:2的比例 - 搭建网络代码，使用Pytorch搭建网络，后期加入多种trick进行测试 - 编写train.py训练代码，写好训练流程、保存模型、保存loss等信息 - 训练完成之后，使用保存的模型进行预测,对预测出的图片进行涂色，使之可视化 - 根据预测结果进行kappa系数、mIoU指标的计算 ### 4. 实验部分代码简介 - [数据简介](https://github.com/yearing1017/Deeplabv3_Pytorch/blob/master/%E6%95%B0%E6%8D%AE%E7%AE%80%E4%BB%8B.md)：以一张大图和对应的label为例，可视化label以便查看原始数据 - [数据切割](https://github.com/yearing1017/Deeplabv3_Pytorch/blob/master/%E6%95%B0%E6%8D%AE%E5%88%87%E5%89%B2.md)：介绍有关tif文件的切割，以及转换tif格式为png格式 - [灰度label可视化](https://github.com/yearing1017/Deeplabv3_Pytorch/blob/master/%E7%81%B0%E5%BA%A6label%E5%8F%AF%E8%A7%86%E5%8C%96.md)：由于label是1通道的图像，直观上是黑色图像，写代码使得同类别像素一个颜色进行可视化 - [数据增强_Data_Augmentation.py](https://github.com/yearing1017/Deeplabv3_Pytorch/blob/master/Data_Augmentation.py)：离线数据增强，对图像进行随机旋转、颜色抖动、高斯噪声处理； - [数据载入及数据划分](https://github.com/yearing1017/Deeplabv3_Pytorch/blob/master/MyData.py)：v0304版本之前的数据载入方式，使用简单留出法划分训练集、验证集 - [基于k折交叉验证方式的数据载入及数据划分](https://github.com/yearing1017/Deeplabv3_Pytorch/blob/master/MyData_kfold.py)：基于k折交叉验证，避免了因偶然因素引起的验证集的不同（验证集随机划分，每次实验结果都会有影响） - [deeplabv3.py](https://github.com/yearing1017/Deeplabv3_Pytorch/blob/master/deeplabv3.py)：基于pytorch的deeplab_v3网络搭建代码 - [deeplabv3论文笔记](https://github.com/yearing1017/Deeplabv3_Pytorch/blob/master/Deeplab_v3.md)：论文Rethinking Atrous Convolution for Semantic Image Segmentation的阅读笔记 - [train.py](https://github.com/yearing1017/Deeplabv3_Pytorch/blob/master/train.py)：v0304版本之前训练程序的代码，基于简单留出验证 - [train_kfold.py](https://github.com/yearing1017/Deeplabv3_Pytorch/blob/master/train_fold.py)：基于交叉验证方式的训练程序的代码 - [predictv0217.py](https://github.com/yearing1017/Deeplabv3_Pytorch/blob/master/predictv0217.py)：使用生成的训练模型来预测，并给预测图片进行涂色显示 - [MIoU指标计算](http://yearing1017.cn/2020/02/17/MIoU-PyTorch/)：使用PyTorch基于混淆矩阵计算MIoU、Acc、类别Acc等指标 - [Kappa系数计算](http://yearing1017.cn/2020/02/27/基于混淆矩阵的Kappa系数的计算/)：使用PyTorch基于混淆矩阵计算Kappa系数评价指标 ### 5. 实验版本数据记录 - 本实验有多个版本，具体实验详情如下： - 使用图像增强进行训练集的生成，640大小的图像：训练集1944张、验证集648张、测试集162张 - v0225版本&v0301版本，320大小的图像：训练集9072张、验证集2268张、测试集378张 - v0607版本之后：第三次调整数据;使用dataset3 - v0923版本之后：加入dsm高程数据；使用dataset4 - v1012版本之后：加入了新数据；使用dataset5 - 图像的预处理：无标准化、只进行了归一化 - 损失函数：CrossEntropyLoss - 优化器：SGD、lr=1e-3、动量=0.9； v0219版本测试Adam优化器、lr=1e-3 - v0225版本&v0301版本:Adam优化器、lr=1e-3 - v0225版本：deeplabv3-resnet152 - v0301版本：deeplabv3-resnet50 - v0304版本：deeplabv3-resnet152，将简单留出验证改为5折交叉验证 - V3p-101： deeplabv3+-resnet101 + 5折交叉验证 - V3p-152： deeplabv3+-resnet152 + 5折交叉验证 - DANet_res：danet-resnet152 + 5折交叉验证 - Deeplabv3_dan：deeplabv3-dan-resnet152 + 5折交叉验证 - [CCNet0403](https://github.com/yearing1017/CCNet_PyTorch)：ccnet-resnet152 + 5折交叉验证 - [CCNet0509](https://github.com/yearing1017/CCNet_PyTorch)：deeplabv3-ccnet-resnet152 + 5折交叉验证 - ResNeSt0518：deeplabv3-resnest152 + 5折交叉验证（此代码修改自resnest分类网络代码） - ResNeSt0525：deeplabv3-resnest101 + 5折交叉验证（此代码修改自resnest用于分割的代码） - CCNet0607: deeplabv3-ccnet-resnet152 + 5折交叉验证 + 第三次调整数据 + 使用weight减轻样本不均衡 - ACNet0923: ACNet-resnet50 + 5折交叉验证 + 加入dsm高程信息 + 使用weight减轻样本不均衡 + 40 - ACNet0925: ACNet-resnet101 + 5折交叉验证 + 加入dsm高程信息 + 使用weight减轻样本不均衡 + 40 - ACNet0927: ACNet-resnet50 + CCNet替换decode的agant层 + 5折交叉验证 + 加入dsm高程信息 + 使用weight减轻样本不均衡 + 45 - ACNet0928: ACNet-resnet50 + CCNet替换原通道注意力模块 + 5折交叉验证 + 加入dsm高程信息 + 使用weight减轻样本不均衡 + 45 - ACNet0930: ACNet-resnet50 + CBAM替换原通道注意力模块 + 5折交叉验证 + 加入dsm高程信息 + 使用weight减轻样本不均衡 + 45 - ACNet1002: ACNet-resnet50 + 5折交叉验证 + 加入dsm高程信息 + 使用weight减轻样本不均衡 + 40 + ACNet0923对照实验测试Focalloss效果 - ACNet1004: ACNet_del_M_model-resnet50 + 5折交叉验证 + 加入dsm高程信息 + 使用weight减轻样本不均衡 + 40 - ACNet1005: ACNet1004对照实验 + torch.cat代替`+`融合方式；比较两者融合的效果好坏 - ACNet1006: ACNet1004对照实验 + CC_Moudle代替上采样过程中的4个agant层 - ACNet1008: ACNet1004对照实验 + CC_Moudle代替上采样过程中的第1个agant层 - ACNet1009: ACNet1004对照实验 + m0-m4融合的特征加入到RGB分支 - ACNet1010: ACNet1004对照实验 + sk-resnet50网络替换se-resnet50 - ACNet1012: ACNet0923网络结构 + 新的dataset5数据集 - ACNet1014: ACNet1004网络结构 + 新的dataset5数据集 - ACNet1016: ACNet1014对照实验 + 编码器的最后融合前添加ASPP模块 - ACNet1021: ACNet1014对照实验 + 将高程数据的分支的通道注意力改为空间注意力 - ACNet1023: ACNet1014对照实验 + 将RGB数据的分支的通道注意力改为通道与空间注意力串行 - ACNet1025: ACNet1014对照实验 + 替换注意力机制中的一个卷积为两个卷积层 - ACNet1029: ACNet1014对照实验 + 将RGB数据的分支的通道注意力改为通道与空间注意力并行 - ACNet1101: ACNet1014对照实验 + 删除了第一个卷积层之后的注意力机制与融合 + 删除对下�