DFDNet [人脸幻构] [人脸超分] [ECCV2020] 论文翻译

DFDNet是一种针对人脸修复和超分辨率的深度学习模型，主要应用于解决人脸幻构和人脸超分的问题。该模型在ECCV2020上发表，其目标是从低质量（LQ）图像中恢复出高质量（HQ）的细节，且在不知道退化类型或参数的情况下进行修复。相比于单一的图像恢复任务，如图像超分辨率、去噪和去模糊，人脸修复具有更大的挑战，但也有很高的实用价值，尤其是在恢复真实的人脸图像时。 DFDNet的核心创新在于构建了一个深度人脸词典，利用人脸的不同组件（左/右眼、鼻子和嘴）的相似性。通过K-means离线算法，从大量的HQ人脸图像中提取特征并进行聚类，创建了一个组件字典。这种方法使得模型在没有对应身份的HQ图像参考时，也能准确地获取修复参考，提高了模型的通用性和灵活性。具体操作中，首先使用预训练的VggFace模型提取HQ人脸图像的多尺度特征，接着通过RoIAlign根据面部地标裁剪组件特征，然后使用K-means聚类生成字典。接着，引入组件自适应实例归一化（CAdaIN）来规范化字典特征，消除风格多样性的影响，如光照或肤色差异。在处理退化的输入时，匹配并选择特征距离最小的字典组件，指导修复过程，并通过预测置信度得分来平衡输入特征和字典特征的融合。此外，采用多尺度字典逐步引导修复，提升性能。 与之前基于参考的修复方法（如GFRNet和GWAINet）相比，DFDNet拥有更多的组件候选参考，这使得其在大多数情况下表现优越。DFDNet在合成和真实降质图像上的实验表明，其不仅在定量和定性上都表现出深度多尺度人脸字典的优势，还能在各种真实场景下生成可信和前景良好的修复结果。尤其值得一提的是，DFDNet无需依赖身份归属的HQ参考，从而更适用于广泛的人脸修复应用。 DFDNet的训练采用递进方式，逐渐在不同特征尺度中引入组件字典，使模型能从粗略到精细地学习细节。这种方法强化了模型对不同退化程度输入的适应性。DFDNet的成功表明，深度学习结合人脸组件的内在相似性可以有效应对复杂的盲人脸修复问题，为未来的研究提供了新的方向。 DFDNet的贡献主要包括： 1. 提出深度组件字典作为修复参考，无需依赖身份归属的HQ图像，增强了模型的泛化能力和效率。 2. 引入CAdaIN进行字典特征转换，消除输入与字典之间的分布多样性，提升特征传递效果，并通过置信度得分自适应融合特征。 3. 使用渐进式训练策略，让模型在不同特征尺度上逐步学习细节，实现从粗到细的修复过程。 4. 在合成和真实退化图像上的出色表现，显示了其在实际应用中的潜力。