图像的低层视觉特征（颜色、纹理和形状等）中包含着大量人类可感知的情感语义信息。利用纹理特征，提出一种新的索引方法-FRD（Fuzzy Recognize Degree，模糊认识度）聚类法，用来描述与情感相关联的语义图像。FRD聚类法使用三个感性的纹理特征：方向性、对比度和粗糙度，生成FRD值。从高层的情感概念进行图像检索。实验图像采用自然景观图片，验证了新方法的良好性能。
郭翠英,李海芳:利用模糊认知度从图像纹理中提取情感语义 2009,45(33)173 表2纹理和情感的测量度 Affective terms柔和度( Softness)清晰度( Clearness规则性( Regularity) 活跃的 0.90 强烈的 0.90 0.70 0.48 浪漫的 0.70 0.90 0.8 有节奏的 0.80 0.65 美丽的 0.90 0.65 动人的 0.70 帅气的 Coarseness=0. 253 152 Coarseness=0.071 982 可爱的 0.70 0.90 ::1:::} 活泼的 0.65 0.85 0.78 并通 (0.7,浪漫的),(075,美丽的),(0.7,可爱的),清晰={(0.90,活 跃的),(0.70,强烈的),(0.9,浪漫的),(0.90,美丽的),(0.9,可 爱的)},而“有生气的”情感词汇模糊集是:有生气的=(0.98,柔 和),(0.95,清晰),(0.8,规律性),(0.5,精良),(0.1,平滑),(0.9, 几何形}。由公式(9)可知,“活跃的”和“有生气的”的FRD-群 Tile 度计算如下 arseness=0. 457542 Coarseness=0.753 142 Frd( dynamic, active )=Max Min[ Frd( dynamic, softness 图3粗糙度数值不同的纹理 Frd(softness, active )] Min[ Frd( dynamic, clearness 纹理特征 Frd(clearness, active )J=Max( Min(0.95,0.98 图像元数据(方向性对比FRD-群度情感信息 Min(0.90,0.98)}=0.95 度粗糙度) 可以得岀结论,纹理特征“柔和度¨或“清晰度”较高的图像 给人以“有生气的”感觉,而“活跃的”情感包含在“有生气的”情 图4FRD-群的框架和执行过程 感中的关联可能性达到了0.95。所以可知,“柔和度”或“清晰 理特点得出的情感词汇。根据方向性不同,图像可能给人一种度”较高的图像带有¨活跃的”情感。 规则或不规则的感觉。根据对比度不同,图像可能给人一种柔3.2生成FRD-群度 和或生硬的感觉。另外,根据粗糙度的差异,图像可能给人一种 根据方向性的不同分布,将图像纹理的语义进行分组。 丰富或单调的感觉。 FRD群度存入数据库中,用来完成分类工作。依据方向性, 表1纹理中的近似语义 Tamura纹理空间分布在平面的360度范围内。这里将纹理分 语义 为十二个类别,来代表由人类观察中的纹理,见表1。 homogeneous/non homogeneous 假设“柔和的”,它的方向性程度范围为:15≥d≥0,360≥ d≥345。十二种纹理根据对比度不同将会变得更加昏暗或是明 快,根据粗糙度不同将会变得更加柔和或是生硬。例如,如果图像 的方向性、对比度、粗糙度程度 flation flat ness)是(5,250,30),由于方向性程度处于15≥d≥0,360≥d≥ regularirregular 345范围内,便可得出L是“柔和的”图像的结论。值得注意的 symmetrical/non symmetrical 点是,根据粗糙度的不同,“柔和的”特征可能会减少甚至消 clear/dark 失。如果,粗糙度处于20≥cωn≥0范围内,即使方向性程度范 simple/complex 围为:15≥d≥0,360≥d≥345,也不可能获得“柔和的”纹理。 defined/diffuse 由此不难判断,在人们看到纹理感受情感时,对比度和粗 12 natural/artificial 糙度扮演了关键的角色。另外,当方向性的数值发生变化时,对 人类观察图像之后得出的感觉往往差异巨大,而且有时是图像纹理的感觉会变得模糊起来。例如.如果方向性的数值为 模棱两可的。某些纹理可以很好地区分它们的差异,用来进行0,纹理的区分是清楚的。如果方向性的数值处在15和20之 分类效果明显。例如方向性,“规则的”或“平滑的”感觉的可以间,想要区分纹理可能会变得十分困难。有鉴于此,当纹理发生 有效地区分。因此,情感词汇和纹理之间的FRD-群度可以通变化时,一个范围在±5的容错值将会引入。图5表示利用 过公式(9)得出。 Tamura(方向性、对比度和粗糙度)空间自动生成FRD群度,并 Frd(f,a)=Max{Min[Frd(f,t),Fnd(t,a)},0≤≤11(9)存入数据库的算法流程图。 由纹理特征得出的情感词汇空间,表示词汇的认知程度,3.3通过FRD群度对图像进行索引和检索 被作为模糊测量度存入数据库中。表2显示了纹理和情感词汇 每个图像都具有纹理特征和情感特征,对图像的处理也包 之间的相关联测量度,用来计算FRD-群度。 括这两方面,首先,FRD群度由FRD群算法直接生成,根据预 如果∫与纹理的情感词汇有关,那么包括在F中的情感α定义的十二种情感分组特性,决定图像应该属于哪个类别。图 的可能性可以通过计算得出。例如,假设关于“柔和”和“清晰”6显示了将图像数据存入情感分组的过程。 的情感词汇模糊集是:软和={(0.98,活跃的),(0.9,强烈的), 每个情感分组建立一个能够支持情感形容词的情感辞典, 1742009,45(33) Computer Engineering and Applications计算机工程与应用 Be eg P mumber retrieved that wre relevant total number retrieved R-number retrieved that are relevant rowCountt-select from database; total number relevant min(con)←0 max( con Recall(R) 100% VFRD picNum<row Count+ -tAmura d+-select_ from_database( picNum d==each class(0-360) con*-select_from_database( pic Num frd+-(con-min(con ))/(max( con)-min(con)) 喜目8-mm pictures (a) Tamura和FRD在查全率上的性能对比 update_ database update database (frd, picNum) (0, picNum) Time (T) pinUs← picU+1 FoRD End 图5FRD群度的生成算法 图像元数据 图像 s二c ctures 映射规则 FRD-群度 (b) Tamura和FRD在时间上的性能对比 图7 Tamura和FRD在查全率(a)和时间(b)上的性能对比 Frd(f, a) C()Lc(2)c(n) 情感辞典 5结论 介绍了基于图像纹理的FRD群概念、生成算法以相关分 情感数据 情感信息 组技术,可以通过输入情感概念词汇检索图像。FRD群由可感 知的 Tamura纹理空间,譬如方向性、对比度和粗糙度生成。情 图6通过情感概念对图像进行分类和检索 感形容词依附于图像和模糊度,模糊度通过人类视觉特征自动 来搜索与术语辞典和感动形容词有关的图像。假设输入“find 获得。感动形容词向图像和模糊的程度被运用自动地被获得根 active Images”,首先扫描情感形容词。如果没有适当的形容词, 据人的视觉特点。FRD群检索规则支持源自人类感觉和情感 个近似的形容词将被启用,作为情感形容词。这一情感形容的基于语义的图像检索,也支持基于视觉特征的传统检索技 词用来计算模糊认知度,得岀FRD群度,然后在一张情感分组术。根据情感表达,情感概念被分为十二类,所有图像也被分入 表中查找相同的FRD群度,最终得出图像的检索结果。 十二类中。为每个类别设置合适的FRD群度,图像的检索速度 可以得到提高。可以预见,以情感表达为核心的更加用户友好 4实验和结果 和更加准确的检索技术一定能够实现。 实验中,设计若干数据库来评估FRD群的检索性能,研究 未来研究方向,可以进一步研究关于怎样合适地对纹理信 息进行分类,寻找更加有效的分类方法,以便提高FRD群的检 FRD本身特征,并将FRD的检索性能与其他传统方法进行比 索效率。同时,为了保证更高检索质量,研究关于怎样采用图像 较。实验数据采自麻省理工学院视觉纹理数据库( itEx)。实 验中任意地选择200个图片,譬如风景、动物和花等图片作为 的其他视觉特点,在ID群的基础上运用多特征组合譬如颜 色和形状,对基于情感的图像检索具有广泛的研究价值和意义 检索对象,描述不同纹理的特征。 凊感概念图像检索技术,采用基于相似性的匹配技术来代 替确切性的匹配技术。实验中利用查全率和查准率来评价实验 参考文献 结果的性能。查全率指被检索出的相关结果数量在检索系统相1 Battiato s, Gallo g, Nicotra S Perceptive visual texture classification 关数据总量中所占的比例。查准率指被检索出的相关结果数量 and retrieval[C].Ferretti M, Albanesi M G. Proceedings of the 12th International Conference on Image Analysis and Processing Manto 在被检索数据总量中所占的比例。最后对提出FRD技术和 va, Italy,2003:17-19 Tamura纹理方法进行了比较,如图7。 (下转232页)