论文研究-基于特征线段分析的建筑物面识别方法.pdf,  将建筑物划分为单个的建筑物面进行处理可以有效降低街景图像理解的复杂度. 因此, 文中提出一种基于建筑物特征线段累积的动态规划方法用于检测街景图像中各个建筑物面的信息. 该方法结合系统工程分析问题的方法, 根据图像建筑物区域直线特征丰富的特点, 分析不同朝向类型的建筑物面中水平直线段透视投影后的变化, 建立相应的特征累积数学模型量化建筑
1052 系统工程理论与实践 第33卷 建筑物特征直线一般都位于地平线之上,当然,在某些透视图像中有可能出现整个建筑物低于地平线的情况, 但是这种低于地平线的建筑相当于其顶部低于视线的高度,这么矮的建筑是基本不存在的,因前忽略这种情 况.那么,以位于地平线H之上的建筑表面为例,在透视投影之后,左向面中所有水平特征线段将向左延长 交于灭点V,即该建筑物面的水平特征线段与地平线H所成角0∈(0,丌/2);相应的,右向面中水平特征线 段将向右延长交于灭点V,且与地平线H所成角∈(-丌/2.0) 透观平面 观察”而 透视图 S, (a)建筑物特征线段提取 S C 地平线H (3,x) (b)建筑物特征线段累积 图3一种特征累积分布导致的建筑物面划分错误 图2透视图像中的建筑物平面 根据图2中各类建筑物面内水平特征直线在透视投影后与地平线H的夹角变化,将透视图像中检测的 建筑物特征线段(x1:犰,x2,w2,),表示左端点(x1,)右端点(r2,y2)以及与地平线夹角为θ的直线,按照 其与地平线H之间的夹角B划分为各类建筑物面对应的特征线段 1)左向面特征线段.1={(m1,,2,y,)|6∈(0,亓/2)} 2)平行面特征线段.L2={(x1,,x2v2,)|6=0} 3)右向面特征线段,L3={(x1,,x2y2,)|6∈(-7/2,0)} 由于建饩物及其周围环境的复杂性,在实际应用中,某类建筑物面内可能会包含与其它类型建筑物面相 对应的特征线段、但是绝大多数特征线段应该能够反映所在建筑物面的特征,即与该建筑物面相对应的特征 线段占主导因此,根据特征线段的分绪果,通过分析各类特征线段的集中程度可以识别并划分建筑物面, 设计建筑物特征线段累积函数模型如下 假设在一幅图像中检测得到n条线段l2,(i=1,2,……m)若设各种类型的线段在水平坐标轴上特征累 积函数为C(k,x),(k=1,2,3) k,x)=∑A(4)B1(1)o() (1) 1,l2∈Lk 其中Ak(2) 表示线段l;是否属于对应分类Lk,Bn(l;) 表示线段 0. else 点是否落在水平坐标区域x1,;2]、w()为累积权重,可令u(l2)=v(x2-n1),v为常数这是由于建 筑物区域内许多长度较短的特征线段更容易受到噪声的干扰无法正确的反映所在建筑物面的特征;相比之 下,长度较长的特征线段抗干扰性更强,也能够较好的反映所在建筑物面的特征.因此,可以认为,如果在建 筑物面中检测得到的特征线段越长,它能够反怏建筑物面特征的可信程度越大、即累积权重就越大 22特征线段累积结果优化 由于真实世界中建筑物表面结构复杂多样,提取的建筑物特征线段必然会出现检测误差,虽然特征线段 的累积模型能够降低误差的影响,但是仍然无法完全避免.如图3所示,对于左向面中存在石向面对应特征 线段的干扰情况,按照前面的模型累积特征线段,C(3,x)是干扰线段累积结果,它将左向面特征线段累积结 果C(1,x)从中截断如果此时按照累积结果可将整个左向面划分为左、右、左三个建筑物面,明显是锆误的, 必须去除C(3,ω)的干扰通过观察图3可以发现,两段特征线段累积结果C(1,x)之间具有一定的相似性和 弱连续性,本文利用这种建筑物面内相同类型特征线段之间的弱连续性,提出了一种新的特征线段累积结果 优化平滑方法 本文提出的特征累积优化算法基于滑窗的思想,在一定范围内对特征线段累积结果进行平滑优化.假设 第4期 李乐,等:基于特征线段分析的建筑物面识别方法 1053 操作窗口宽u像素,特征累积函数C(k,x)的区间为(1:w2),即v1+=c2,且彐(x12,x2)∈{(x1,x2) 01<x1<x2<W2}.如果对于x∈{x|e1<x<x1}有C(k,x)=0.且对wx∈{|x2<x<2}有 C(k,x)=0.那么 若x2-1< threshhold.则对w∈{xw1<x<1}.使得 C'(k,a)=0 若x2-x1> threshhold.则对wx∈{x|x2<m<02},使得 C(k,x)=∫ C(he, p) 这里∫(x)可取原值、四舍五入、邻近整数下界或上界4种值.取整数下界对窗内累积函数的连贯性 起一定抑制效果,取上界则起一定助长效果,而四含五则属于较为随机的折屮方案 从上式中可以看出,如果窗凵的最左和最右端出现的非零值间隔小丁一定值,则判为下扰,将其去除,而 若在操作窗∏内最左和最右端的非零值间隔大于一定值,则判为有效信息,将其加笕.窗∏沿水平坐标轴∈ I1,vMtb从左到右扫描处理原始的特征累积结果C(k,r),得到梳理整齐的特征累积曲线C'(k,x),具体算法 流程如下: 1)初始化,C(k,x)=C(k,x,左端起点=1; (2)若i<u"th,转(3).否则转(6 (3)若C(k,x)>T,则继续(4),否则转(5); (4)确定窗口左端m1=.右端m2=i+e,从右端往左寻找第一个非零值.其位置为j,若j threshhold.则令位置为至j的C(k,x)=0.若j-i≥ threshhold,则令位置为i至j的C(k,x)为公 式(3)屮的一科取值方茱 (5)i=i+1,转(2); 6)此时的C(k,x)便是优化后的特征线段累积结果,算法结束 如图4所示,经过上述算法平滑优化之后,有效地剔除了特征线段累积结果中的误差和千扰,而能够代 表建筑物面特征的累积结果则得到了强化变得平整连续,有助丁正确检测各类建筑物面 19g7 1,54.3 21 (a)特征线段累积结果 (b)特征线段优化结果 图4特征线段累积结果优化 3动态规划检测建筑物面 特征线段累积结果C(k,α)体现了透视图像中建筑物区域的水平坐标上第k类特征线段的密集程度. 根据建筑物面中与其类型相一致的特征线段占主导的原则可以设计下面的数学模型米求解各个不同类型建 筑物面之问的划分D;,D2;…,Dm其中,D=(x1,x2),x1、x2分别为该建筑物面的左右边界假设图 像中建筑物面的范围为[1,wr" idt h.,且各个相邻建筑物面之间首尾相接,那么可以得到 1=(x1,x12)=(1,12) D;=(x1,x2).其中x;1=x;-1,2, Dn=(aml, Im2)=(am1, width 图像屮建筑物区域按D1,D2…,Dm划分建筑物面之后,构建目标函数z(x)量化建筑物面划分结 4 系统工程理论与实践 第33卷 果,当z(x)最大时达到建筑物面的最优划分 20-)(∑(cD)∑cka)-P4) 1,D;∈Sk 面S,P(42(0,DSn且3U(k,)=,表示任意划分面D;属于且仅属于某一类建筑物 其中,U(k,D)= 21C(,{n1,x∈D,∈S,表示建筑物面发生变化时的惩罚因子用于保持建 筑物面的连续性和稳定性防止特征累积C(k,x)的局鄙误差产生的千扰这里,由于D,是一个不确定划分, 故建筑物面的数量m值不确定那么将目标函数(x)转换为 z()=∑(∑C;Gk,m)-P(,时 1,x∈D;∈S 其中,G(k.m-) 0,∈S25P(k,)=mnC(kn,{n,a∈D,∈S,那么,根据上面的公式可以 进一步优化目标函数x(x),得到 f(r)=maxZ() width max ∑(∑C(时-P,m)+∑(∑C(,(C(,明一Pn a-1k=1 x-e+1k-1 width Illaxf(e)+ ∑(∑C(G(,)一P( (6) dthe =()+mx(∑(∑C,aC(时一Pkn 上式是动态规划形式,符合最优性原理,故垂直建筑物面分界可按照此动态规划模型求解18.那么,根 据图像中建筑物区域提取的特征线段集合L:l(xa1,r;2),=1,2,…,n,计算建筑物面分界线集合P的动 态规划算法如下 1)初始化,令t(l2)=2-1,P={},根据L计算C(k,x),(1≤k≤3.1≤x≤观tlh).t=1, f(O)=0,决策路径q(0) (2)根据动态规划式子计算∫(),选择最大的决策方案P,使得∫(t)=f(p)+max width r=p+12k=1 C(k,) G(k,x)最大则q(t)=p,(p=1.2,3); (3)t=t+1,若t≤ width,转(2),否则转(4) (4)令h=idth,从q(h)开始反向寻找各个决策位置,各个划分D=(q(h),h,再使h=qh),分界线 集合P=P+{h},迭代回溯,直到q(h)=-1为止 (5)输出各建筑物面分界线集合P,算法结束 根据图像建筑物区域的特征线段累积纬果,通过动态规划的方法计算目标函数z(x)的最优解,划分判 别各类建筑物面理解建筑物目标的组成结构,为进一步实现建筑物目标的三维模型重建提供帮助 4实验 本文从 ZuBud图片库和自拍的照片中选取了若干张包含建筑物的街景图像进行实验.这些实验图像在 拍摄时要求相机的镜头水屮正直,使得图像中建筑物区域的变较小,各个建筑物面的边界基本与地面垂直, 便于划分建筑物面.在实验屮,使用机器学习的方法检测建筑物区域,并采用 Keseckal的方法检测建筑 物特征线段,然后通过对特征线段的累积和分析将建筑物面划分为右向面、平行面、左向面3类,分别用红 绿蓝3色标示. 本文根据透视图像中建筑物区域内水平特征直线成像的变化,构建了一套完整的数学模型来分析这些特 征直线段,以此为依据检测各类建筑物面算法流程如图5所示对丁实验的街景图像(图5(a),首先通过机 器学刁的方沄识别图像中的建筑物目标并在此基础上提取建筑物区域蕴含的特征线段(图5(b).然片根据 各类建筑物面中的水平特征直线在透视成像后的变化:提出了特征线段累积函数模型.对各类建筑物面对应 的特征线段进行分类量化(图5(c).并提出合适的方法对累积结果进行优化.有效的减少了噪声的千扰(图 第4期 李乐,等:基于特征线段分析的建筑物面识别方法 1055 5(c)经过实验分析,该方法使得建筑物面检测的准确率提高约15%.最后,利用动态规划最优性原理解析 基于特征线段的建筑物面划分问题,通过求解动态规划模型,得到该街景图像内各建筑物面的最优划分结果 (图5(d) (a)街景图像 (b)特征线段提取(c)特在线段累积(d)特线段优化(e)建筑物面识别 图5建筑物面检测过程 Trinh方法 Trinh的方法 本文的方法 八人~个困像 (a)建筑物面识别准确率 (b)算法时问消耗 图6本文算法与 Trinh的算法比较 为了验证本文算法的性能,分别从建筑物面识别的准确率和算法速度两方面将本文的方法与Tinh的方 法113进行比较.首先比较两种方法得到的建筑物面识别结果的准确率,一方面通过计算被正确识别的建 筑物面的面积占建筑物总面积的比值可以定量的衡量建筑物面识别的准确率(如图6(a):另一方面通过观 察建筑面识别的结果(如图7所示第三列为本文的方法得到识别结果,第四列为Tinh的方法得到的识别 结果)可以定性的衡量建筑物面识别结果.通过观察发现尢论建筑物面识别的准确率(如图6(a)还是建筑 物面识别的直观效果(如图7),两种方法的表现基本相同.其次比较两种算法的处理速度,在 Matlab70环 境下,使川100张街景图像进行建物面检测实验,并计算其时间消耗.如图6(b)所示, Trinh的算法处理 嗝图像平均需要43s,与之相比本文的算法消耗的时间仅仅是其1/15.本文的算达各步骤所消耗的平均时间 如表1所示通过上面的实验,可以发现与Tinh的方法相比本文的算法在建筑物面识别准确率基本相同的 情况下,处理速度更快,具有更高的应用价值. 表1基于特征线段分析的建筑物面检测方法运算速度 特征线段检测特征累积累积结果优化动态规划总计 时 1107 472 6532781 由于客观世界的复杂性:街景图像中的建筑物区域可能会岀现噪声、目标遮挡等千扰,从而影响建筑物 面分类识别的结果.因此,本文针对不同情况下的街景图像进行实验,以验证本文的建筑物面分类识别算法 的鲁棒性.实验结果如图7所示,第一列为原始的街景图像,第二列为每幅街景图像中建筑物区域的特征线 段累积优化结果,第三列为本文方法得到的建筑物面分类识别结果.图7包含了几类典型的建筑物图像,a 图为仪包含一个面的建筑物;b图为包含两个面的建筑物:c图为建筑物部分区域被遮挡的情况;d图为建筑 物被遮挡较严重的情况;c为包含多个面的建筑物目标;f为包含多个建筑物日标的情况:g为包含多个建筑 物目标和多种建筑物面的复杂情况.从图7可以看出、本文的算法具有较好的鲁棒性,对于街景图像中建筑 物目标的各科情况,都能够根据建筑物目标蕴含的特征线段准确的检测各类建筑物面 5结论 在识别各个建筑物面之后,通过分析各类建筑物面的特点判断其与相机平面之间的倾斜角,对各个建筑 物面进行反投影变换19,最后依据各个建筑物面之间的相邻关系,将反投影之后的建筑物面作为表面纹理 贴图重建建筑物三维模型.由于这些不是本文的研究内容,这里不进行详细描述 本文针对各类建筑物面中水平特征直线在透视图像中的变化,按照建筑物面的朝向划分各类特征线段, 并建立了数学模型对各类特征线段进行量化累积,然片提出了相应的算法优化特征线段累积结果,剔除噪声 l056 系统工程理论与实践 第33卷 干扰,最后证明建筑物面检测的数学模型符合动态规划最优性原理,从而通过动态规划方法计算目标函数的 最优解从而判定各个建筑物面的位置.实验结果表明,本文的方法具有较强的抗十扰性,能够准确的检测图 像中的建筑物面.与传统的需要灭点计的建筑物面识别方法相比,在建筑物面检测效果相同的情况下,本 文的方法速度更快,具有更高的应川价值.但是,目前本文的方法仅依赖于提取的特征线段识别建筑物面在 今斤的工作中将考虑使用其它的建筑物特征信息.进一步提高建筑物面检测算法的鲁棒性和准确率 (1)原始街景图像 2)特征线段累积优化 (3)本文的方法 (4 Hoang-Hon Trinh的方法 厂a a2) (a4) (b) (b3) (b4) (c1) (c3) (d2) (d4) 如,如物 (g2) (g4) 图7街景图像中建筑物面分类识别 第4期 李乐,等:基于特征线段分析的建筑物面识别方法 1057 参考文献 1 Xiao J X, Fang T, Tan P, et al. Image-based facade modeling J. ACM Transaction on Graphics- Proceedings of ACM SIGGRAPH Asia, 2008, 27(5 ): 161-170 2 Yang X Y, Zhang TX, Lu Y. Building rccognition bascd on gcomctric model in FLIR imagc scqucnccs[J. Journal of Infrared, Millimctcr and Tcrahortz Waves, 2009, 30(5: 468-483 3 Zhang W, Kosccka J Localization based on building rccognition(C// Computcr Vision and Pattcrn Rccognition (CVPR), San Dicgo, USA, Junc 20-26. 2005: 21-28 4.i, Allinson N M. Subspace learning-based dimensionality reduction in building recognition J Neurocomputing, 2009,73:324330. 5 Hoiem D, Efros AA, Hebert. M. Closing the loop on scene interpretation(Cl//Computer Vision and Pattern Recognition Anchorage. USA.June 21-26. 2008: 1-8 6汪行,陈学佺、金敏.线段提取在高分辨率遥感图像建筑物识别中的应用[J计算机辅助设计与图形学学报,205,17(5): 928-931 Wang X, Chen X Q, Jin M. Application of line segment extraction to recognize buildings in high-resolution remote sensing imagesJ. Journal of Computer-Aided Design Computer Graphics, 2005, 17(5): 928-934 了康志忠,张祖勋.基于灭点理论和物方平行线几何约束的建筑墙面纹理自动纠正[J.武汉大学学报:信息科学版,2004 29(4):33337 Kang ZZ, Zhang ZX. Automatic rectification of texture for building facades bascd on vanishing point gcomctry and gcomctric constrains of parallcl object lincs J. Gcomatics and Information Scicnce of Wuhan Univcrsity 04,29(4:3337 S]陈付幸,王润生一种新的消失点检测算法小.电子与信息学报,2006,28(8):14591462 Chen F X, Wang R S. A new vanishing point. detecting algorithm J. Journal of Electronics Information Technology,206,28(8):14591462 9汪哲慎李翠华.基于改进Hogh变换的建筑目标搜索与识别[J.中国图象图形学报,2005,10(4):463467 Wang Z S, Li C H Improved classical hough transform applied to building detection and recognition J. Journal of Image and Graphics, 2005, 10(1): 163-167 [10 Li Z, Li S. Building line feature acquisition based on morphologic filter for infrared images recognition[C/ Proceedings of SPIE: Multispectral Image Acquisition and Processing, Yichang, China, Oct 30-Nov 1, 2009 7494:74942A 11 Trinh HH. Jo K H. Image-based structural analysis of building using line segments and their geometrical ishi nts(C// SICE-ICASE International Joint Confe Oct.18-21.2006:566571 12 Trinh H H. Kim D N, Jo K H. Cross ratio-bascd rcfincmcnt of local fcaturcs for building rccognition[J. Advanccd Intelligent Computing Theories and Applications, 2008, 5226: 544-551 13 Trinh HH, Kim D N, Jo K H. Facct-bascd multiplc building analysis for robot intclligcncc[J. Applicd Mathc- matics and Computation, 2008, 205(2): 537-549 [14 Kang SJ, Trinh H H, Kim D N. ct al. Building componcnt dctection by using contcxt information and multiplc ues for outdoor robot C//ICROS-SICE International Joint, Conference, Fukuoka Japan, Aug 18 21, 2009 165-170 [15 Torr P H S, Zizverman A MLESAC: A new robust, estimator with application to estimating image geometry[JI Computer Vision and Image Understanding, 2000, 78(1): 138-156 [16 Song J Q, Cai M, Lyu M R, et. aL. A new approach for line recognition in large-size images using hough transform(C// International Conference on Pattern Recognition (TCPR), Quebec City, Canada. Aug 11-15 2002(1):3336 17 Kosecka J, Zhang W. Video compass(Cl// Proceedings of the European Conference on Computer Vision(ECCV) Copenhagen, Denmark, May 27-June 2, 2002: 176-190 l8李端,钱富才,李丿,等.动态规刘问题研究小系统工程理论与实践,2007,27(8):5664 Li D, Qian F C, Li L, et al. Research on dynamic programming[J Systems Engineering-Theory Practice 2007,27(8):56-64 [19 Duan W T. Allinson N M. Automatic approach for rectifying building facades from a singlc uncalibrated im agc C// Thc 6th International Conference on Informatics in Control, Automation and Robotics, Milan, Italy, Julv25,2009;37-