SIFT算法广泛应用于计算机视觉等领域，而该算法具有较高复杂度，为此提出了一种基于改进SIFT特征提取的视频全景合成方法。该方法采用了多核系统平台并行优化来实现SIFT算法，首先对相邻视点的特征进行配准，然后对重合区域进行双线性融合，减少了视差的影响，同时克服了SIFT算法高复杂度问题。实验结果证明，SIFT算法的并行实现能够实时处理视频拼接，并在大角度旋转情况下仍能较好地合成视图。
582010,46(20) Computer Engineering and Applications计算机工程与应用 位特征点方向和生成特征点描述符模块中冋样要对前面检测平面透视运动模型閂来伂计视图间的几何关系。该模型使用 到的特征点进行筛选,并且这两个模块耗时比较长,那么在对透视矩阵将视图投影到同一平面上,则有 特征点检测阶段后进·步对其进行筛选,这样大幅度减少了 ho h,h 计算量。 H h, ha h.y (7) 这里,利用模板算子法进一步对已检测到的特征点进行 h。h2 筛选,通过实验统计测试,选取的模板算子定义如下 其中,(x,y,1)和(x,y,1分别为相邻两视图的齐次坐标。该 透视变换是平移、刚体、相似以及仿射变换的超集,能够完整 mask=11111 描述相邻视点间的摄像机运动。为了估计矩阵H中的8个参 数,需要4对匹配点,从相邻视点的粗匹配后的特征点中随机 在尺度空间中,将该模板放在初始已检测到的特征点处,抽取4对特征点对{(x1,1)(x2y2.(x3,y3(x4,y和{(x1,y1) 判断模板内是否只有一个已检测到特征点。若模板内只有 个特征点,则保留此特征点,然后移动模板到下一个特征点(x22)(x2y2(x4y4),如下式 处;若模板内有两个或者两个以上的特征点时,根据下面准则 x1y11000-x1x1-x1y 只选取一个更加显著特征点,其余特征点被剔除,具体公式 vix 如下 2 y 1000 y2h I(x, y)-1(r, y) 000 y2x2=y22.h3y2 expi (x,y)∈mask 其中,(x,y)和(x,y)分别为初始已检测到的特征点像素值和 01000-x=2小h/(8) 000x3y31h5y 模板内每个点的像素值,(x,y)是像素的坐标,表示特征点的 x4y41000-x4 h 标号,是灰度差的阈值,其值根据不同情况进行选择,文中选 000x4y41-y4x4-y4y4 取T=20。被筛选的一个最显著特征点必须满足下面条件 为了提高匹配的精度,这里采用简化的 RANSAC算法門进 maxS(,y)1 (6) ≤iN 步对误匹配点对进行剔除,即随机抽取4对匹配点计算一个 其中,N是模板区域内初始已检测到的特征点个数。 初始矩阵,再用该矩阵去度量其余特征点的匹配程度,则有 下面给出改进算法的具体实现伪代码过程,设定同一个 尺度组( Octave)共享同一个栈,利用OpenⅦP编程并行优化 H (9) 4来提取同一尺度组中的特征,如图4所示。 改进SIFT算法的伪代码 这里,是区分内点和外点的容限,设置θ=0.8。通过迭代得到 for all octaves∥/假设有n个尺度组 满足最大匹配点集的矩阵H,该最大匹配点集为排除误匹配后 建立n个栈用于存放尺度组中的特征; 假没一个尺度组中有m个尺度空间 的特征点集。为了更精确地计算透视变换矩阵H,可以利用 for all scales LM迭代算法来最小化代价函数。 构建DoG空间;可并行实现 42视点间的融合 # pragma omp parallel for/并行检测特征点 for all pixels/对尺度组中的像素 融合目的是为了得到无缝的视频全景图。现有融合技术 /利用尺度空间相邻26邻域 主要有线性融合、多频带融合和梯度域融合算法等。为了满 if(是否为关健点) pragma omp critical 足实时处理的要求,采用双线性加权融合算法对关键帧进行 添加新增的关健持征点入栈; 融合,如图5所示。 〃利用模板算子法进行筛选 背景图 进一步筛选尺度空间中特征点;可并行实现 肇米样尺度组( Octave);∥并行实现 #pragma omp parallel for for all pixels这里的像索指关键点栈中的像素 /提取特征信息,即128维特征向量 定位特征点方向 生成特征点描述符; 图5和邻视点重叠区域的融合示意图 图4改进算法的伪代码实现 将视图1置于预先定义好的个背景图之中,如图5所 通过并行优化后,执行的速度明显提高。由于SFT只是示。然后再将视图2通过技影矩阵H变换到背景图中,同时求 部分具有仿射不变性,为了提高匹配的精度及消除误匹配点其4个顶点在背景图中的新坐标。 对,下面采用 RANSAC迭代思想进一步精简匹配点对。 视图1和视图2的非重叠部分的像素值不变,直接添加到 背景图屮,重叠部分根据双线性加权求得新像素的值.即对像 4视频图像的配准和融合 素的R、G、B分量分别进行融合,如下式 4.1输入视图的配准 在摄像机拍摄中,当相邻视点的特征点得到后,首先利用 lnew a+B + (10) 韩龙,郭立,李玉云:SIFT算法的并行实现及应用 2010,46(20) 其中,和2分别是视图1和视图2在重叠区域的像素值,是进行合成。 融合后的新像素值,a、P分别表示重叠区域中的点到视图1的 对于摄像机采集的视频,其中视频分辨率为320×240。这 左边界的距离和视图2的右边界的距离。通过裁剪求得包围里采用双核的PC机,平均都可以达到35s实时处理要求,同 盒的大小,即包围盒在背景图中的4个顶点坐标,如图中黑色时合成的视频仝景保证了场景信息的清晰度 虚线所示。 5实验结果 5.1原始和改进SIFT算法实验结果比较 本文所使用的硬件平台是 Intel的双核CPU的PC机,软件 平台是 Intel开发的并行计算集成工具包,并在Ⅴ Visual studio 2(05环境下对 OpenMp多线程编程进行配置。 视频1 视频2 通过摄像机采集不同环境视频,即包括复杂和简单场景、 室内和室外场景等。对于实际视频,利用统计方法计算得到 平均实验结果。图6是对改进前后的SIFT算法进行分析对比 的平均结果,如图6所示。 口代表改进前 ■代表改进后 13匚 (a)室内场景合成 图6改进前后的算法的性能比较图 其中,A、B、C分别代表尺度(DoG)空间中特征点提取(极 视频1 视频2 值点)、定位特征点方向和计算特征点描述符。图6是对不同 尺刂大小的视频图像进行执行的统计结果,改进算法的整体 加速度比平均超过2.5倍 在整个视频全景合成过程中,SIFT算法消耗吋间最长。 改进的S算法减少了对一些特征点进行方向定位和描述符 的生成,同时利用并行算法减少了计算复杂度,下面对并行算 法优化性能进行评价 (b)室外场景的合成 并行优化效率主要体现在加速比和时间复杂度上,加速 图7视频全景合成的实验结果图 比表达式如下: 加速比串行执行时间 6结论 并行执行时间 (11 对于视频全景图像生成技术,提出了一种改进的鲁棒性 并行算法的时间复杂度是从理论上分析算法优化效率。较好的视频全景生成技术。该方法对SIFT算法进行了改进 当用m个处理器对视频图像进行SIFT特征点提取时,需充分利用了SIFT算法对尺度变换的不变性,并采用多核平台 要提取的特征点个数为N,原始串行SIT算法的计算时间复来并行完成特征点提取过程,同时对初始检测的特征进一步 杂度为α(N)。而在并行实现算法中,m个处理器同时操作提取筛选,这样很大程度上减少了后续计算的复杂度 特征点并压入共亨的栈中,则计算时间复杂度为O( log M)。此 通过对不同尺度大小的视频图像进行统计实验,优化后 时提取特征点入栈任务的加速比为S=O( N/log M) SIFT算法执行的平均效率至少是优化前的2.5倍。视频全景 对于共享栈中的N个特征点,利用循环并行化来定位特征合成结果几乎可以实现无缝拼接,同时满足了视频会议等应 点方向和计算特征点描述符,从而时间复杂度基本上减少了用场合的实时性能要求,基本上都可以达到35fs的实吋性能 50%。本文取m为2,由于对初始检测到的特征点进一步筛选,要求。 则改进后的整体加速比可以超过处理器的数目。 5.2视频全景拼接的结果 参考文献 对不同场景下的视频全景进行了合成实验,各个视频摄] Su M s, Hwang W L, Cheng K Y. Analvsis on multi-resolution 像机的角度和朝向都是可调的。图7是对室内和室外场景进 mosaic images[J]. IEEE Transactions on Image Processing, 2004 行合成实验,其中,图(a)是对室内场景进行实验,两摄像机之 13(7):952-959 间存在大约为15左右的拍摄角度差异;图(b)是对室外场景 (下转67页)