平面壁画高分辨率图像的快速特征匹配方法.docx

0 引　　言

洞窟壁画是人类的艺术瑰宝, 数字化保存是其重要的保护方法. 根据我国

国家文物局关于古壁画的一级影像采样分辨率不低于 300 DPI (Dots Per Inch,

每英寸点数)的技术要求

[1]

, 目前任何高分辨率的相机都无法通过拍摄一幅图像

来保存大幅面的洞窟壁画. 因此, 一般采用划分壁画采集区块的方法, 即把一

幅大幅面的壁画划分成 n×m 大小的有重叠的采集区块, 然后对每一区块用高

分辨率相机进行拍摄, 再通过图像拼接方法把这些采集区块的图像(一般有上

百幅图像)拼接成一幅全景图像. 图像拼接的主流方法是通过寻找图像匹配点,

[2]

[3]

(Speeded-Up Robust Features)

Accelerated Segment Test) and Rotated BRIEF (Binary Robust Independent

Elementary Features))

比较研究后指出, SIFT 算法在旋转和尺度不变性方面是最好的. 主流的特征点

检测算 法主要适用于灰度图 像, 也就是 说这些算 法都没有考虑如何处 理具有

相同灰度纹理却有着不同色彩信息的图像. MSER 算法在理论上可以直接检测

到 彩 色 图 像 的 特 征 斑 点 , 但 其 检 测 性 能 比 从 灰 色 图 像 检 测 要 差 许 多 . CSIFT

的特征点数量比用 SIFT 算法检测出来的数量要少很多, 而特征点数量又对后

续的特 征点匹配的精度影响 比较大. 与利用线性高 斯金字塔来构建多尺 度空

间以检测关键特征点的 SIFT 算法和 SURF 算法不同, KAZE

[9]

算法采用加性算

子分裂 (Additive Operator Splitting, AOS) 算法来进行非线性的扩散滤波, 从

而构造出非线性尺度空间, 具有比较好的特征点可重复检测特性, 但是也付出

了高昂的计算成本. 在后续研究中虽然提出了加速版的 A-KAZE (Accelerated

KAZE)

[10]

, 但其特征检测性能不如 KAZE, 其尺度不变性不如 SIFT 鲁棒, 不太

适 合 应 用 于 高 分 辨 的 壁 画 图 像 . 相 较 于 SIFT 利 用 高 斯 差 分 (Difference of

检测和描述算法

[12-14]

, 但这些算法存在着两个棘手问题: 一是需要大量的训练

样本; 二是泛化性还没有解决, 所以暂时还不适合应用于样本非常稀缺的洞窟

壁画上.

特征点匹配可以分为初匹配和匹配验证两个阶段: 第一阶段比较主流的初

匹配方法是暴力匹配法(Brute Force Matching, BFM), 该方法对每个特征点生

成一个特征描述向量(也称特征描述符), 对每个特征点用全遍历方式从另一幅

图像里寻找与该特征点的特征向量最相似的特征点作为其匹配点对; 第二阶段

的匹配 验证的目的是消除在 初匹配中 的误匹配点对, 通常使用随机抽 样一致

算法(Random Sample Consensus, RANSAC)

可靠的特征匹配点, 并用这些基准点来区分正确点和离群点; Lin 等

[18]

根据正确

匹配点之间的相干性(Coherence Property), 再通过一种非线性回归的方法来

去除离群点; Chou 等

[19]

提出了一种分两阶段进行抽样和平面投票的匹配法, 用

于剔除离群点. 但是这些方法几乎都是针对验证处理, 不能减少第一阶段的无

效匹配, 只能消除错误的对应关系. 另外, 通过实验还发现, 在特征点匹配处

理中, 暴力匹配的计算时间成本占据了整个处理过程的 80%.

根据以上分 析 , 本文解明了目前图 像 特征点匹配的主流 算 法中存在的问

法的效果会明显下降. 上述这些问题, 当 2 幅图像的分辨率不高时, 其对图像

拼接精度的影响基本上显现不出来; 但对大幅面壁画图像拼接来说, 其对拼接

精度和时间复杂度的影响就非常显著了.

法有 2 个主要特点: ①通过降采样图像获得原图像粗略配准的单应变换矩阵,

极大地降低了后续特征点匹配的时间复杂度; ②提出了一种基于灰度和颜色不

变量的特征描述符, 它能很好地区分具有相同灰度纹理不同颜色的特征点, 提

高了特征点匹配的正确性.

在实际人工壁画图像 库上, 本文对 NeoKPM 算法的性能进行了实验. 实

验结果表明, NeoKPM 算法在分辨率为 8000 万像素的壁画图像集上, 其每对

图像的正确匹配点数量平均比 SIFT 算法高出近 10 万个, 其特征点匹配处理速

度是 SIFT 算法的 20 倍, 其基于图像单个像素的双图像平均误差小于 0.04 像

素.

1 NeoKPM 算法

由于采集的原始壁画图像具有很高的分辨率(一般在 8000 万像素以上), 而

既有的特征点匹配算法对这类图像处理的时间复杂度很高(一般需要几小时),

其原因 是高分辨率图像会检 测出大量 特征点, 而特征点的匹配是采用 暴力匹

配法. 为了提高特征匹配的速度, 必须考虑把图像的分辨率大幅度下降, 但是

分辨率下降的图像又会影响特征匹配的精度. 为了克服这一矛盾, 我们先对 2

幅输入图像进行降采样处理. 根据 1.2 节中的实验数据, 按 10%的降采样率进

行降采样后的图像(即比原图像缩小了 100 倍)所获得的平均配准误差在 1 像素

左右, 但其处理时间大幅度下降(约下降 20 倍). 为此, 第一阶段, 先通过降采

下面给出完整的 NeoKPM 算法.

第一阶段特征点粗匹配第一阶段特征点粗匹配

(1)对输入的 2 幅重叠图像(分别为目标图像和参考图像, 目的是用目标图

像去配准参考图像)进行降采样处理(一般降采样率为 10%, 即对原始图像缩小

100 倍 ), 分 别 输 出 目 标 图 像 的 降 采 样 图 像 TsTs 和 参 考 图 像 的 降 采 样 图 像

RsRs.

(4)分别生成降采样图像 TsTs 和降采样图像 RsRs 的灰度图像和颜色不变

量图像.

(5)分别从降采样图像 TsTs 和降采样图像 RsRs 的灰度图像中检测出 SIFT

特征点.

(6)根据 SIFT 特征点的位置, 分别从降采样图像 TsTs 和降采样图像 RsRs

的灰度图像与颜色不变量图像中抽出基于 SIFT 描述符的联合特征向量.

(7)对降采样图像 TsTs 中每个特征点, 根据最大平移量可以估计出它在降

采样图像 RsRs 上的对应矩形范围, 然后进行基于联合特征向量的特征点匹配

搜索, 找到其对应的匹配点.

(8)找到 2 幅图像中对应的点对集合, 再根据降采样图像与原图像之间的

量图像、目标图像的颜色不变量图像分别为 TGTG、RGRG、TCITCI、RCIRCI.

(10)分别在图像 TGTG、RGRG 上检测其 SIFT 特征点.

(11)在目标图像的灰度图像以及颜色不变量实数图上, 计算所有特征点的

SIFT 特征向量, 然后把每个特征点的灰度特征向量和颜色不变量特征向量拼

接成 256 维的联合 SIFT 特征向量.

(12)在参考图像的灰度图像以及颜色不变量实数图上, 计算所有特征点的

SIFT 特征向量, 然后把每个特征点的灰度特征向量和颜色不变量特征向量拼

接成 256 维的联合 SIFT 特征向量.

(13)对目标图像和参考图像里的特征点按以下步骤进行初匹配处理: 对图

像 TGTG 中 每 个 特 征 点 , 根 据 第 一 阶 段 得 到 的 图 像 粗 配 准 的 单 应 变 换 矩 阵