基于C++实现书画破损碎片图像拼接及修复算法【100013143】

**摘要**：本文提出了一种二维数字图像拼接技术用于书画破损碎片的数字化修复。在数字修复过程中，首先对书画破损碎片的扫描图像进行预处理，之后依照碎片图像边缘灰度特征和轮廓子片段长度、数量等几何特征计算潜在的配对组合，根据量化评估结果得到最佳拼接方式拼接图像。多张碎片组合实验证明了程序的效果，实验结果展示了程序在拼接图像上的高效性和鲁棒性。 关键词：碎片、匹配、图像拼接 # 0 引言 古书画自身材料属性决定其脆弱、易损，其中碎片拼接是破损书画修复的主要任务之一。目前数字化图像处理技术广泛应用于文物文献修复中，通过扫描及计算机处理可实现对破损书画的数字化拼接复原。古书画碎片常有霉菌、墨点、折痕、刮痕等大面积污损，且局部存在颜色扩散而导致的模糊及灰度变化。传统上，拼接复原工作需由人工完成，准确率较高，但效率很低。特别是当碎片数量巨大，人工拼接很难在短时间内完成任务。数字图像碎片拼接技术通常用于重组一组碎片并且重构成一张完整的原始图像，随着计算机技术的发展，人们试图开发鲁邦性好的几何图形学算法用于碎片图像的自动拼接技术，以减少人工劳动，提高拼接复原效率。 匹配算法是碎片图像拼接算法的关键环节，现有的碎片图像拼接方法中匹配环节可以分为两类： 1、基于颜色（灰度）匹配；2、基于几何特征（轮廓形状）匹配。基于颜色匹配以颜色信息为基础预测碎片图像之间的相邻关系，指导匹配和拼接，常用的匹配关系包括边缘颜色差、灰度矩等。该类算法效率较高，但是当轮廓不同但边缘灰度相似时无法匹配。几何特征匹配以碎片边缘轮廓为基础，常用特征包括轮廓角点、轮廓子片段斜率变化趋势等，该种匹配方法可以沿着碎片共有的边缘轮廓特征精准的配对碎片。该种匹配方法速度较慢且当碎片规则或多碎片轮廓相似时，常常难以得到正确的结果。本项目提出一种综合碎片图像灰度信息和轮廓信息的算法，用以书画碎片匹配。结合颜色和几何信息的匹配算法使综合两种算法的优点，一定程度上使匹配处理更加高效、精准、可信。 # 1.算法描述 书画碎片图像拼接算法分为 3 个主要步骤：图像预处理、碎片匹配和碎片拼接。具体流程图如下图 1  ## 1.1碎片图像预处理 预处理的目的是通过图像分割识别书画碎片目标。书画碎片图像常常由真实碎片经扫描或高分辨率相机拍照得到，其背景通常为纯色因而图像分割较为容易。对于一般白背景扫描的灰度图像，其直方图在近255区域有明显峰值，具有双峰性。一般碎片直方图如下图所示：  ​ 图 2 一般书画碎片直方图 考虑到书画碎片内部图案杂乱，直接运用Canny算子等边缘提取算法提取边缘会差生大量不需要的“碎边”，因此利用直方图特性首先设置较高的阈值将原始图像二值化，运用中值滤波滤波平滑图 像，滤除轮廓内部噪声，最后利用Canny算子识别碎片并提取轮廓。此过程获得较好的轮廓图像用于 后续操作。值得注意的是，中值滤波为非线性滤波，但由于匹配过程对边缘轮廓细节要求不大，因而 影响可以忽略。 <img src="img/Aspose.Words.7ef10d5d-b909-439a-9930-9c12738e74a3.016.png" style="zoom: 50%;" /><img src="img/Aspose.Words.7ef10d5d-b909-439a-9930-9c12738e74a3.017.png" style="zoom: 50%;" /> ​ **图 3 预处理图像。从左到右分别为碎片灰度图像，二值化图像，Canny 算子提取边缘后图像。** ## 1.2基于灰度及轮廓几何特征的碎片匹配 碎片匹配的目的是为“成对”识别相邻碎片并计算相邻碎片变换关系，对于两个以上的碎片，应能首先识别出碎片中两个最有可能拼接的碎片。实现算法如下：（1）提取每个碎片的边缘轮廓并以曲线轮廓方式表示，将曲线打断成若干子片段（2）分析边界片段构成轮廓的形状和灰度信息，依照两碎片轮廓间子片段组合的几何和灰度相似关系生成潜在配对组合（3）评价潜在的配对组合，从中寻找最佳拼接方式。算法细节在2中阐述。 ## 1.3图像拼接 按照最佳匹配结果，进行图像拼接。首先从多张碎片构成的图像中分离碎片，依照先前生成的最佳子片段组合旋转平移碎片，搬移相应碎片至接合位置实现图像拼接，得到完整图像。算法细节将在3中阐述。 ## 2.碎片图像匹配 碎片图像拼接的核心是寻找相邻碎片的变换关系。碎片轮廓信息是拼接可利用的重要线索之一， 往往不同碎片具有不相似的自然不规则边缘。对于二维图像，碎片可以以轮廓信息建模，并且以二维曲线轮廓配对，因此匹配问题常常简化为曲线匹配问题。 对于相邻碎片，他们的拼接边缘必然具有高度相似的几何和灰度特征，这种匹配关系是拼接匹配的重要依据。我们首先将每个封闭轮廓打碎成若干子片段，由于两个碎片轮廓相邻（匹配），则必然拥有一个以上长度相近，灰度相似的子片段，这种子片段定义为共有子片段。根据上述原理，只要搜索出所有共有子片段的组合即可计算出相邻碎片的所有拼接可能。 匹配算法主要分三步实现：（1）将轮廓打碎成若干片段，以子片段集合形式表示（2）计算两个轮廓每个子片段间的特征匹配，生成轮廓拼接方式的组合（3）量化评价所有组合变换关系，根据得分选出最佳匹配组合。算法细节如下所示。 ## 2.1轮廓子片段化 首先，对于每个碎片的曲线轮廓，我们运用多边形近似分割轮廓为若干弧线子片段𝑆𝑖𝑗。定义𝐶𝑖轮廓生成的子片段形成的向量为轮廓簇𝑺𝒊，即 𝑺𝒊 = {𝑆𝑖𝑗}。每个子片段起始点为𝑣𝑖𝑗1，终止点为𝑣𝑖𝑗2， 即 。当多边形边数较多时，每个弧线子片段可以由1和2两点所表示的直线近似，即 本实验中， 我们使用findContours 函数从预处理的图像中提取轮廓向量， 运用DP 算法的approxPolyDP函数进行多边形近似，生成向量。  ​ 图 4 多边形近似结果 注意到，多边形近似的结果受起始点1，终止点2位置选择的影响，但考虑到是当多边形近似 阈值设置足够小时，曲线轮廓的分割将足够精细，近似结果仍然主要由轮廓的几何特征决定，因此 近似结果对于1、2的位置选取不敏感。 ## 2.2特征匹配  ​ 图 5 共享子片段 根据步骤1中生成的轮廓簇，计算其子片段的长度和平均灰度，生成描述子向量𝑪𝒉𝒂𝒓𝒂𝑪𝒊。遍历两个轮廓𝑪𝒉𝒂𝒓𝒂𝑪𝟏、𝑪𝒉𝒂𝒓𝒂𝑪𝟐中的每种子片段组合，若两子片段𝑆1𝑖和𝑆2𝑗的平均长度和平均灰度均满 足阈值，则记录这种标号组合关系，由此得到匹配组合。 ## 2.3量化评估 上步中生成的匹配组合存在大量的错误拼接方式，因此需要量化评估从中筛选出最恰当的拼接方式，得分越高说明两张图拼接越正确。若1和2为最佳拼接方式，则以