论文研究-基于语义的三维模型检索框架研究 .pdf

所需积分/C币:9 2019-08-15 15:37:45 683KB .PDF

基于语义的三维模型检索框架研究,郭爽,冷彪,语义研究是目前三维模型检索技术的一个重要研究方向。传统的三维模型检索技术依托于以模型特征向量为存在形式的底层特征信息,其��
国利技论文在线 http://www.paper.edu.cn 1面向类别的特征子空间 11面向类别的语义特征 现有的语义特征检索方法大多是以模型本身为考察对象,将模型本身的拓扑结构、功能用 途等附加信息表述为高级语义特征。而在模型自动分类的研究中发现,类别本身也蕴涵语义特 征。类别本身存在的意义在于其两个方面:1)区别不同属性的物体:2)对相同或相近属性的 物体予以概括描述。因此类别的语义特征也可以从两个方面定义:1)在语义上区分物体类别 归属的标准;2)在语义上对物体属性的概括。对应两个方面的定义,以下两个途径都可以得 到类别的语义特征: 1.通过抽象和整合类別中各模型的语义知识得到类别的语义特征。 2.利用属于类别的模型和不属于类别的模型之间的差异来确定该类别语义层次的判定标 准。 显然,对于第一种途径,由于各类别包含的模型众多以及没有统一可信的整合标准,操作 起来极其困难。此外,目前模型的语义知识大都基于文本,给整合带来了难度。而第一种策略 直接从语义判定标准入手,基于如下的假设:几何外形等浅层的模型特征不足以构成模型分类 的标准,因为一个类别往往包含着外形上相差甚远的模型。所以模型类别的区别更多的是依据 模型的功能用途和领域知识等髙级语义知识,即语乂知识本身构成类别的判定标准。如此,通 过探索和还原每个类别的判定标准,我们自然可以反向得到类别的语义知识。本文即拟从后 种策略岀发,通过构建类别的特征子空间这一概念来定义类别的语义特征。 假设有一个模型库集合M,每一个模型库中的模型可以表述为M中的元素m∈M。选 定一个η维的特征向量空间ⅴ来描述模型,则M中的任意一个元素(模型)可以表示成V 中的一个向量m=(m1,m2,…,mn) 设(e1,e2,…,en)为该空间的一个归一化止交基底( Orthonormal basis),定义X为归一化 正交基底中所有分量的集合X={ci=1,2,…,m}。则v的任意一个线性子空间可以认为是以 P(X)中的一个元素x为基底的线性空间。M中每一个类别可以视为M的一个子集,此处我 们假设这些类别都是基本类别,因此这些了集两两之间没有交集: M=∪A2v,=1,2,NA∩A=0 =1 针对每一个类别A,本文定义其特征子空间为S2=Spm(x),其中x∈P(x)是子空间的 一组基底。而构建类别的特征子空间即是挑选原特征空间基底集合P(¥)的一个元素作为构成 子空间的基底。 12模糊集合 在经典数学中,数学语言具有明确的真伪性,即拥有一种非真即伪,非此即彼的属性。这 种薮学语言处理的对象构成经典的集合。对于这种经典集合(又称分明集),一个元素是否属 国利技论文在线 http://www.paper.edu.cn 于集合可以完全确定。本文将所要研究的对象全体称为论域或者万有集合,可用大写英文字母 X,Y,z等表示。经典集合论中的关系可以用如下的方法表达:假设A为论域ⅹ中满足某种特 性的元素集合,那么可以用一个特征函数来表示这种元素的隶属关系 1x∈A xA()= 2 0x∈A 若A与B同为X的两个子集,则A与B的运算关系可以表示如下 XauB()=maa xa(c): xB(a)l 3 XAnB()=minx(c) xB(e)) xAc()=1-xA(a 以P(X)表示的幂集,ch(X)表示X上一切特征函数的全体,V表示max,∧表示 min,则我们可以得到(P(X),∪,∩,c)以及(ch(X),v,A,-)之间的同构关系,即我们可以通过 研究特征函数来研究ⅹ的了集关系。当研究对象为经典集合论,则特征函数如上所述只能取 值0或1。当研究对象为模糊集合时,有以下定义:定义一个模糊集合A,则有 A={(u4(x),)|∈X} (6) 其中μ4(x)是0,1上的个确定的值,称为对A的隶属度。则对任意的模糊集A,函 数μA都是存在的,并称为模糊集A的隶属函数。隶属函数μA的值越接近1,则x隶属于A 的程度越人,反之μ4越接近0,说明r隶属于A的程度越小。模糊集合上的运算可以视为对 经典集合(分明集)上运算的推广,但是由于缺少确定的隶属关系,运算的定义需要借助隶属 函数的关系「5 1.3类内共有性的模糊集合表达 为了表达特征子空间的类内共有性,本文将构造一个模糊集合FS,该模糊集的元素为原 特征空间的线性子空间,该模糊集的定义为“该集合的元素是具有措述类别讠语义特征能力 的原特征空间的线性子空间”。因此,原特征空间的每一个线性子空间Spon(x)都有可能成为 FS元素的可能性,而判定的标准就是FS2的隶属函数。 VFS",FS2:P(X)→0.,1x→FS 对每一个线性子空间Span(x),都有一个对应的0,1之间的数值作为它隶属于FS4的可 能性大小,数值越大则说明隶属的可能性越大。而挑选子空间的方法就可以转化为确定隶属函 数μFS的形式。本文给出的一种隶属函数的表述则来自于对模型底层特征向量的方差分析。 国利技论文在线 http://www.paper.edu.cn 由于方差反映的是数据围绕平均值的波动性,通过硏究类别内部模型特征向量在不冋线性子空 间上的投影值的方差大小,就可以反映不同子空间代表的特征在类别内部模型间的稳定性。即 投影值的方差越小说明该子空间上蕴涵的特征在类别内部越具有共有性,因此隶属函数具有如 下形式 HFS()= 其中σ2,;代表了类别i内部模型在线性子空间Spam(a)上投影的方差值,而σ则代表类 别讠内部模型特征向量在原空间上的方差值。根据隶属函数的定义,我们可以构造一个线性子 空间的a截集( a level set): Ro-eluFs(a)>aj 此时特征子空间的类内共有性可以表述为:类别特征子空间属于该类别模糊集合FS的 a截集S∈R。 1.4类间互异性的模糊集合表达 为了满足特征了空间的类间互异性,本文将针对每个类别i构造另个以原特征空间的 线性子空间为元素的模糊集μFMS,该模糊集的定义为“该集合的元素为原特征空间中那些 可以同时描述类别讠以及其它类别语义特征的线性子空间”。根据集合的定义有: 1FMS(x)=1(≠;FS(x) (10 这样模糊集FMS″的隶属函数就可以通过上文中已知的FS隶属函数求解。根据模糊集 合的理论有: WUj+i FS2(c)=max(uFS() (11) 最终得到: AFMS(a)=max(uFs()) (12) j≠ 并且FMS(x)的取值范围也在0,1,符合隶属函数的定义要求。显然类别i的特征了 空间属模糊集合FMSˆ的可能性应该尽量的小,这样才能保证该特征子空间作为判定模型 类别归属时的准确性。因此特征子空间的类间互异性可以表述为: S=argmin(uFms(a) (13) 国利技论文在线 http://www.paper.edu.cn 标签 类别1模型 特任子空问1 分量1 ilii 类别2模型 标签 特征子空间1 11分量2 查询 模型 类别N模型 特征子空间1 标签 分量N 图1:检索框架的α层结构 2类别一模型双层结构检索框架 目前存在的语义特征提取算法大多是以模型为对象的,无论是相关性反馈还是本体语义知 识的推演,最终都会落实到对单个模型语乂相关性和满意性的判断。这种以模型为语义特征载 体的策略尤其直观性和简洁性的优点,但是正由于模型库屮模型数量的庞大和日益增长,以模 型个体为单位的语义知识提取面临着操作上的困难和结果上的不准确性。本文提出的语义检索 框架则通过定义类别的特征子空这一概念,将传统的模型语义知识从单一的模型层面扩展到 包含类别和模型两个层面的知识表达体系。对应两个不同的知识表达层面,本框架可以分为类 别和模型两个部分。在构建检索框架的过程中,本文首先借助模糊集合的理论给岀类别特征子 空间的数学表达,然后利用机器学习中的监督学习机制,通过模型库中部分模型组成的训练库 来推算岀各个类别对应的特征子空间。基于获得的类别特征子空间,该框架可以通过对比模型 特征向量在不同类别特征子空间上的投影值来判断其属于不同类别的概率分布。在此慨率分布 的基础上,框架计算得到每一个模型的语义特征标签,完成语义信息在两个层面间的传递(如 图1所示) 2.1求解特征子空间 在求解特征子空间的时候,木文首先构造一个经过人为分类标注的模型训练集T,T与前 文所述的目标模型库M具有相同的类别分类,但其内部包含的模型数量则少于M。本文则取 目标模型库的一个子集作为训练集,即T<M。通过人工分类,T内部的模型全部被归属到 不同的类别之中。此时,T中类别讠模型的样本方差可以用来近似估计M中相同类别i的方 差: 国利技论文在线 http://www.paper.edu.cn ∑( (14 car ∈T 其中ααrα(α)为训缭集在该类别中包含的模型个数,m为训练集该类别中模型的平均值 (特征空间中特征点的质心)。同理我们可以定义类别中模型的特征向量在线性子空间Span(x) 上投影值的样本方差值: card(ri) ∑ (15) 同时,根据特征子空间模糊集合表述的两条性质,在求解的过程必须同时满足两个条件: S∈R (16) gin(uFMs(s) 考虑线性子空间的极端情况,如果子空间Spam(x)取原特征空间本身,则有 使得μFS"(x)不符合第一条性质。如果子空间Span(x)取值零向量空间,则对任意的类别j 均有pFS(x)=1,此时必然有uFMS"(x)=max/≠(uFS"(x)=1不符合第二条性质。由此 我们发现针对每一个类别i,S必能取到一个有意义的真线性子空间。而选取的过程则可以抽 象为一个带约束条件的最优化问题。又因为构建线性子空间时对原特征空间的每一个基底分量 可以有选择和不选择两种离散取值,所以该最优化问题可以还原为一个整数规划问题。一般的 整薮规划问题可以用到动态规划算法( Dynamic Programming),但是木文的问题不具有最优 子结构这一应用动态规划的前提条件,所以本文拟采用启发式算法( Heuristic algorithm)来 获得问题的可行解。本文选用的启发式算法为模拟退火算法( Simulated annealin 2.2面向模型的语义标签 在完成每一个类別的特征子空间构建后,模型库中每一个模型可以通过一个基于特征子空 间的映射函数得到其语义标签。仿照 Zhang和(hen提出的方法16,本文将计算模型属于每 个类别的概率值,并将这些概率值以向量的形式作为模型的语义标签。计算两个模型语义标 签之间的距离即可以得到模型在语义上的相似度。设模型m的语义标签为SL(m),则有: SL(m)=(Proba1(m), Proba2(m),., ProbaN(m) (17) 概率值的定义如下: ms-T S T00A1(7 (18 国利技论文在线 http://www.paper.edu.cn 此处ms为特征向量在子空间S上的投影,mS为类别i目前所有模型特征向量平均 值在子空间S上的投影,而σS,为类别讠所有模型特征向量在子空间S上投影值的标准 差。概率值的计算采呆用了高斯分布的形式也符合统计的规律。通过调节参数a的取值可以影响 髙斯分布的形状,通过实验选定最优参数值。 2.3改进拉普拉斯映射算法 拉普拉斯映射是一种常用的流形学习算法[17]。它先通过构造一个带权重值的邻接图 ( Weighted Adjacency(raph)去模拟原高维特征空间中存在的低维流形。然后通过求解一个 稀疏特征矩阵问题获得流形场在原特征空间上的离散化模拟,得到特征向量在低维流形空问 上的最优近似表示,从而实现降维和聚类的效果。拉普拉斯流形场算法通过邻接图的结构保 留了原特征空间中的大量局部信息,所以对计算过程中的个别坏值及外界干扰具有很好的鲁 棒性;冋时正是这种局部信息的保留也使聚类的功能得以实现[18]。拉普拉斯映射算法陈述 如下:给定特征空间B以及其中的k个点x1,x2,…,mk,寻找空间B中的另一组k个 y3,y2,…,yk,使y可以代表xz,同时有m≤m。此处我们预先假设这k个特征点处于R中 的一个流形M上: x1,x2,…,xk∈ M with m an embeded manifold 1.构建邻接图G(V,E)为了模拟特征空间中内嵌的流形结构,第“步的任务就以原特征空 间中的一部分点为节点来构造一个连通的图( Connected graph)G(V,E)。并使每一个节点与 其最近邻居( Nearest Neighbor)的节点相连接。判定一个节点是否是另一个节点的最近邻居, 可以通过ε邻接法(ε Neighborhood)和n最近邻接法( m Nearest Neighbors)[19。 2.选择权重值 确定边的权重也有两个方法,简单的方法如下:如果x:和x相连接,则W,=1,否则 W;=0。如果考虑引入控制参数,则可以借用热力学方程模型( Heat Kernel Equation),采 用如下的方法 e i iad V,≤k,t otherwise 这时可以把前面那种简单的情况看成是当时间t→∞时的特殊情况。 3.计算特征向量完成邻接图的构建后,挑选其中连通的部分,首先计算一个对角化的权 值矩阵D,=∑W,。通过求解特祉方程可得到对应各个特征值的特征向量(fo,f1,…,fk-1)。 由于第一个特征向量筘对应特征值λo=0,所以只取从∫1开始的m个特征向量来构建原特 征空间中的m维的流形空间。此时,对原特征空间中的点x2,可以得到在流形空间中对应的 特征点 国利技论文在线 http://www.paper.edu.cn r;→iz=(fo(1),f1(4),…,fmn()) (21) 其中f(2)为第j个特征向量的第个分量 传统的拉普拉斯映射算法通过构建邻接图来保留原特征空间中的局部信息,从而作为特征 点聚类的参考条件。局部信息的保留体现在两个方面 1).特征点之间是否邻接取决于他们在原特征空间上的欧氏距离大小。 2).邻接图上边的权值大小也取决于两点间的欧氏距离大小(影响高斯分布的系数)。 如果原特征空间中模型的分类确实是按照底层特征向量信息,则这种聚类应该能很好地反 映出模型的归属。然而,模型的分类除去简单的几何外形等底层信息外,还有功能用途等前文 所述的语义特征知识;这些高层信息就无法通过计算原特征空间上的欧氏距离来得到,而只能 依赖外界语义信息的输入。本文对传统的拉氏流形场算法的改进之处就在于引入特征点的语义 信息,使其与模型的底层信息相结合,从而更好地实现聚类的效果。改进后的拉普拉斯映射算 法如下: 构建邻接图G(V,E),此步骤同传统的拉氏流形场算法: SL(ai)-sL(ai)ll i,adjacent 22 otherwise 通过用特征点x;的语义特征标签SL(xz)来替代它的原特征空间向量,计算两个特征点语 义标签之间的伪距离( pseudo-distance)米获取两个特征点在语义层次上的相似度。这样计算 得到的权重值就同时反映了特征点之间的局部信息和语义信息 3实验 本文的检索框架主要用于从底层特征信息中提取高层语义特征信息,因此本文的实验跳过 模型的原始数据,而是建辶在模型的底层特征向量数据之上。因为底层特征提取算法可能对本 文的检索框架造成潜在的影响,本文将冋时使用四种不同类型的特征提取算法获得的数据进行 实验。 1DBD438一个基于深度图像( Depth Buffer Image)的视觉特征提取算法,得到特征向 量空间的维度为438。 2.sSIL300一个基于外形轮廓( Silhouette)的几何特征提取算法,得到特征向量空间的维 度为300。 3RSH136一个基于放射线(Ray- based)的球谐函数特征提取算法,得到特征向量空间的 维度为136。 4,DSR472一个混合特征提取算法,以不同的权重值混合」DBD438、SIL300、RSH136 这三种算法,得到特征向量空间维度为472。 国利技论文在线 http://www.paper.edu.cn ww D 40450 图2:DBD438特征提取算法在测试集1号语义类别上的方差变化 以上四种特祉提取算法拥有不同的特征空间维度以及不同的捕捉底层特征的方法,所以本 文利用这四种数据可以全面地检测检索框架的特性和功能效果,从而得到更有说服力的结果 3.1构建类别的特征子空间 为了构建类别的特祉子空间,我们选取PSB(普林斯顿图形库)中的测试集( test set) 来完成实验。首先提取测试集中的92个基础类别( base categories)作为实验中的语义类别, 因为基础类别是不能再向下进一步分类的类别概念,所以符合我们前文假设的类别集合两两不 相交的条件。测试集中的所有907个模型分散在这92个类别中,且每个类别含有的模型数量 不等。通过实验我们发现每个语义类别内部的模型特征向量在不同线性子空间上的投影值方差 确实存在极大的差异性。如图2上显示的DBD438算法的实验结果,1号类别的特征方差在第 200至438号维度上具有较小的值(除去个别维度外,方差接近0)。所以1号类别的特征子 空间应该由200-438范围内的维度组成。这种方差分布在类别上的差异性证明了我们对于语义 类别判定标准的假设。为了达到类别语义特征代表性和互异性之间的平衡,我们将公式16中 给出的α截集的参数α取值在范围(0.6.0.8)之内。实验过程中我们发现一旦a的取值超出此 范围,则实验效果会受到很大的影响。经过模拟退火算法的优化,我们得到的类别特征子空间 维度可以控制在原特征空间维度的的1/3到1/2之间。表1中记录了每一个特征提取算法各个 语义类别特征子空间维度下降程度的平均值。 表1:四种特征提取算法特征子空间降维效果表2:拉氏算法改进前后Pre-Reca对比 DBD SIL RSH DSR DBD SIL RSH DSR 原空间维度 300 136 472 标准拉氏算法94278.3737.3989755 特征子空间维度17012065 180 改进后拉氏算法17012065180 降维幅度 612%60%55.9%61.9% 增益(%) 18 4 12

...展开详情
img

关注 私信 TA的资源

上传资源赚积分,得勋章
相关内容推荐