基于OMP算法的被遮挡人脸恢复源码

# 基于OMP算法的被遮挡人脸恢复 ## 数据集 AR数据集，包括100个人的正面人脸图像，每个个体包含14张无遮挡图像（可用于构建字典），和12张有遮挡图像（可用于测试），详细信息如下： 数据共100类，m代表男性样本，w代表女性样本，第一个三位数代表样本类别。最后的两位数代表该类别下的26张图，其中图片id为1-7,14-20可以作为训练集，其余的为测试集（戴眼镜和蒙面） 数据命名格式为：性别-个体id-图片id，例如m-001-01，表示第一个个体的第一张人脸图片，性别为男性。 ## 项目说明 1. 使用数据集中无遮挡人脸的图像构建字典 2. 在步骤1的基础上添加单位矩阵，生成应用于被遮挡人脸的字典 3. 应用字典和OMP算法构建遮挡人脸图像的稀疏表达，其中包含误差的稀疏表达与原始图像的稀疏表达： $$ y = y_0 + e_0 = Ax_0 + e_0 = \begin{bmatrix}A && I\end{bmatrix} \begin{bmatrix}x_0 \\ e_0\end{bmatrix} = Bz_0 $$ 其中，$ e_0 $是误差向量 4. 使用误差 $e_0$ 与字典对应的列，恢复出原始的误差矩阵。 5. 使遮挡人脸的矩阵表达减去步骤4中得到误差矩阵即可得到恢复后，无遮挡的人脸图像。 ## 算法实现 算法由Python实现，共包含pre、dictionary、omp、rebuil和main五个部分。其中，pre实现数据预处理，dictionary实现字典构建，omp为该实验核心内容，实现omp算法过程，rebuild对omp返回的向量进行图像重建，main负责参数的定义和残差曲线的绘制。 在dictionary中，将传入的图像文件拉伸成1*n的行向量，在列向量方向进行拼接，再拼接一个单位矩阵用以表达遮挡，为方便omp对字典矩阵的归一化，此处暂不将矩阵进行转置。 在omp中，共包含y、A、L三个参数，分别表示目标向量、字典矩阵和迭代次数。先将目标向量y的值残差向量residual，每次迭代求得残差向量在字典矩阵A上的最大投影对应的列向量，将该向量加入矩阵Anew，通过求Anew的伪逆A_解出最小二乘对应的向量Lambda，再将Lambda值按列向量索引更新稀疏系数向量x_rec。迭代L次后，算法结束，返回稀疏系数向量x_rec和此时的残差向量r。 ## 实验分析 由于数据集较大，将原图的120\*165压缩到40\*55以减少计算量，通过绘制残差曲线得知迭代次数L在350~400较为合适。 <img title="Residual Plot" src="./result/residual_plot.png" alt="residual_plot" data-align="center"> 这里只采用抽样的方式进行了测试，结果如下： <img title="" src="./result/m-021-glasses.png" alt="" data-align="center"> 根据m-021-23的测试结果，第一张取m-021-14作为m-021的参照，第二张位m-021-23去遮挡前的照片，第三张为去遮挡的结果。不考虑因图像压缩导致的模糊，墨镜的去除效果非常不错。 <img src="./result/m-021-mask.png" title="" alt="" data-align="center"> 而同样是m-021，对围巾的去遮挡效果很差，推测是由于训练集中的胡子与围巾相近，且围巾遮挡了面部面积过大，加上迭代次数较少导致识别困难。 <img title="" src="./result/w-021-glasses.png" alt="" data-align="center"> 对于女性，墨镜的去除效果也比较理想，w-021-13不仅去除了墨镜，还还原了原本的眼睛。 <img src="./result/w-021-mask.png" title="" alt="" data-align="center"> 而围巾的去除效果同样很差。 ## 结论 本项目基本实现了通过OMP算法进行有遮挡人脸图像的恢复，不过恢复仅限于小面积遮挡条件下完成，在大面积遮挡下几乎不能起作用，即使将稀疏度再调高也无法让其恢复效果提升。 ## 参考文献 1. [Koredianto Usman. Introduction to Orthogonal Matching Pursuit](https://korediantousman.staff.telkomuniversity.ac.id/files/2017/08/main-1.pdf) 2. [John Wright ; Allen Y. Yang ; Arvind Ganesh ; S. Shankar Sastry ; Yi Ma. Robust Face Recognition via Sparse Representation](https://ieeexplore.ieee.org/document/4483511)