在不确定上下文相关的环境中，图形用户界面测试主要依靠随机测试以及测试人员的从业经验，其有效性低。提高图形用户界面测试的效率是一个未解难题。因此，通过引入离散并行系统的Petri网理论，定义了图形用户界面的事件、事件序列和事件分解等概念，将可达性、有界性、活性以及强连通性等Petri网的重要性质延伸至此领域，以提高图形用户界面测试的覆盖面和效率。并且试图解决不可达、不强连通、死锁、无界、不符合初始模型和跳转错误等六类图形用户界面缺陷问题。实验证明基于Petri网的图形用户界面测试在事件覆盖数、代码行覆盖数以及缺陷发现数等方面均优于其他方法。
770 计算机应用研究 第33卷 匝用礼品包裴 键购买 购买]“择配送地址 品包择带月卡号→ 是否选用 或纸质版 质因 礼品包装 也子版 不用图←<获环式>购买一一适题+择信用卡+面一 购买还是 键购买 键购买 成功购头) 叫一键购买 上乔配送地址 择信月卡号 图2实例的流程图 P7一锂购买 中的“选择礼品包装型号”事件将不可达。此实际图形用户界 Omd P1电子版 nOOn个面 面的Peti网描绘如图6所小 P1电了 口m1→OA·OO时 P纸历 0礼品是·O“(O】OOr 011OH+OrH+ 图3初始实例的Pri网建模 图6不可达事件举例 事实上,设置“一键购买”事件,日的在于研究Pemi网能否2.2.2不强连通问题 检测佟形用户界面的正确跳转问题。因而在下文中除非特别 实际图形用户界面不强连通,存在孤岛。如果图1中 说明,该研究简化图1的 homepage为 simple homepage,如图4 homepage的哈姆雷特(电子版)选项存在缺陷,并且Peni网描 所示。 绘如图7所小,则“哈姆雷特(电子版)”事件就为孤岛。 信用卡 OO时→○l 哈姆雷特(电子版) 哈姆雷特(纸质版 □选用礼品包装 14信用卡P15确定 P10选用礼品 购 O→O1O_ OPo thome 图7非强连通事件举例 实际应用中还存在一种孤岛问题,将在本节最后介绍 图4简单首页 2.2.3死锁问题 图3初始实例的Peti网建模也可简化为图5。 实际图形用户界面死锁。购买纸质版之后,如果 confirm 界面要求同时满足以下两点,“确定”按钮方能有效 a)客户必须在勾选配送地址之前选择信用卡号; On p,onOr+O t*HO TitH b)客户必须选择完配送地址才能选择信用卡号 P质○) P10选用礼品 则佟形用户界面存在死锁,如图8所示。 P3购买 P4信用卡 确定 图5简化实例的 Petri网建模 电于版 O○!→○m→l 对该应用系统图形用户界面的事件序列构造可达树.该事 P 件序列是满足可达的、有界的,且是强连通的。 ○饿○ P年质成Q1 nK P1购12阳逆运板式P4信用卡,n5定 2.2六类图形用户界面缺陷问题 P10选用品 ○<O 在图形用户界面测试的分类领域,文献中提出∫不同的分 图8死锁件举例 类角度。等人矿究 visual testing(ⅥT),将Cu测试分为2.24无界门题 两大类,即单一对象测试和多个对象测试。 实际用户界而是无界的,特例就是不安全的。在本简化模 在本文中,订书应用系统模型设计完成后,如果存在缺陷,型中,默认次购买·本图书,若客户通过多次点击“哈姆雷 特别是在图形用户界面发生事件序列的错误中,根据L.2节,特(电子版)”和“哈姆雷特(纸质版)”按钮,系统收到多次响 将关注以下六类问题,并在之后的实验部分给出具体的设计与应,则该图形用户界面就是无界的Pei网描绘,如图9所示。 结果。 2.2.5不符合初始模型问题 2.2.1不可达问题 不满足预设的Pei网模型。此种情形主要是由于图形用 实际图形用户界面某些事件不可达。比如 homepage中的户界面的设计不符合需求规约。例如,不论是否在 homepage 选用礼品包装”选框存在缺陷,无法使用,那么, confirm界面界面择“遴用礼品包装”,购买纸质版之后的 confirm界面都 第3期 林涛,等:基于Pet网的图形用户界面测试 771 要求勾选“选择礼品包装型号”。在本情形下的Peti网描绘如型,并完成可达树分柝,与初始设计的比较,就可发现图形用户 图10所示。 界面的潜在错误。 2.2.6跳转错误 32)4“H个 多个图形用户界面中的一类重要缺陷是不正确的跳转。 %是￥如图3中“一键购买“点击后个能到达”成功购买”界面,而是 P配送P3信用 OTk l,oTh+OrhOTth n2质成 P13礼品 与点击“购买”按钍到达同一界面,如图14所示。 P0选用礼品气 P17一锥买 图9无界事件举例 P1电子版 信用卡 OOA○·○ P购 P纸质版 P10选用 P13礼品 P14信月卡P15确定 P0选用礼品 m3品P4信用卡P15确定 H+OTtHOtHOrtr 图10不满足需求规约的事件举例 图14错误跳转举例 还有一类重要的不满足初始模型的问题是在设计实现系 统过程中人为加入其他库所,尤其是在图形用户界面测试时引3实验 入辅助界面事件,但是在提交系统后未删除。 在本章实现实例中的订书系统,并对其图形用户界面进行 例如在设计时,为了验证com界面的“选择信用下号”测试。 并且¨确定”后,系统能够正常与银行系统关联,测试人员添加 本实验重点关注以下两个问题 以下测试界面,如图11所示。点击 feedback界面的¨“确定”按 )基于Pemi网的图形用户界面测试能否在不确定的运行 钮后,珧转至 congratulation界面。 环境中发现软件缺陷 agfeedback-Dx b)基于 Petri网的图形用户界面测试是否优于随机测试和 OME方法。 信用卡支付系统运行正常 3.1实验设计 实验环境如下:操作系统为 Windows8.164li,处理器为 确定 Intel core i3.13(llz,内存为8(邢B。川发语言为C#,片发工 图1反馈用广界 具为Ⅴ isual studi2013 ultimate。实现订书系统图形用户界 若设计完成后未删除 feedback界面,直接提交该系统,则面。之后,向该系统中植入实例所示的六类缺陷,每类各三个 出现软件缺陷,不符合初始模型。事实上,该冋题因为不满足 错误,如表1所示。 预设的Pet网模型,可以快速发现。此情形下,实际用户界面 表1缺陷以及检测 的Peti网描述,如图12所示额外添加了“P17收到回复”库 基于Petr机测 所,与预设Peti网模型不相等。 缺陷类型 缺陷描述 网测试试能否 OMF 能否检測检测方法 P1电了版 P3购买 7攻到回复 4一→OAOh 选择礼品包装型号” 不可达问题 选择信用卡号” nim界面“确定” 哈姆雷特(电子版) 不强连通问题 P0选用礼品与 “○O]O品 (成为孤岛事件) 选择礼品包装型号 选择配送地址 图12额外添加事件举例 选择配送地址”与“选择信用卡 死锁问题 “哈姆雷特(电子版)”与 在实际中,完成测试后,有时虽将事件序列恢复为需求规 哈姆雷特(纸质版) 约的要求,但是并未删除用于测试的代码,这是另一种非可达 “选择配送地址”与“确定” 哈姆宙特(电子版) 的孤島情形,需要代码重构,删除冗余。具体如图13所示。在 元界问题 选用礼品包装” 此虽然删除了图1l中冗余的事件序列,但是并未删除“收到 选择信用卡号” 回复”的代码。 不待合初始总是要求勾选“选择礼品包装型号” 模型问题 额外增 JIt feedback界面 总是可以勾选“选择配送地圢 P17收到回复 点击“一键购买 ThOzhotl 按钮跳转至 confir界面 错误跳转 点击“购买”按钮跳转至 成功购买”界面 P纸质版1 点击“一键购买”按钮不跳转 设计了二类测试环境,分別为使用基于Peti网的图形用 图13非重构事件举例 户界面测试、随机测试以及OME方法5,并对系统进行测试。 OME 方法的原理是动态迭代监测测试用例中的新事件,与此 根据以上分析,则可构造实际图形用户界面的Peti网模同时,拓展图形用户界面的输入集模型,最后计算新的覆盖集 772 计算机应用研究 第33卷 得到新的测试用例以训练新的元素。基于 Petri网的图形用户境使得其测试面临诸多困难。 界面测试的流程如图15所示 本研究将并发系统领域的Pemi网理论引入图形用户界面 (实验初始化 测试,总结并提出了相关性质,解决了冇关缺陷问题 至于将来的工作有两个方向:a)在短期,移动客户端的开 选择基于 Petri网测试 发与钏究正在工业界与学界如火如荼的展川,因而将本训究的 併始測词入缺“陷的Pei网伏得数据 相关成果应用于移动客广端是可行的,尤其是 Windows phone 以及可达树 客户端,因为本矸究实验基于C语言与该系统同源;b)本文尚 <对比结果 实验结果 不能完全自动化测试,在更长远时间,研究时序层次化等高级 正确 Petri网 以及可达树 Peti网并与图形用户界面测试相结合,有可能取得更好的测 图15测试坏境 试效果,因而这也是一个方向。 3.2结果与分析 参考文献: 通过分析表1,得出实验结果,如表2所示。统计事件覆[1 Lin y d, Chue t h, Yu Shangche, t al. Improving the accuracy o 盖数、代码行覆盖数(通过使用代码覆盖检测工具 NOver获得 automated GUI tcsting for cmbedded systcms[ J]. IEEE Software 测试结果以及缺陷发现数 201431(1):39-45 表2结果比较 [2 Bauersfeld S, De Rojas A, Vos TE J. Evaluating rogue user testing in industry: an experience report[ C]//Proc of the &th International Con 闪容 基于Peti网测试随机测试 OML方法 ference on research challenges in Information Science 2014. 1-10 总测试用例数 3219 4872 6856 事件覆盖率/% 33.7 87.6 [3 Nedyalkova S, Bernardino J. Comparative study of opcn sourcc capture 代码行覆盖率/ 93.8 and replay tools[ J].IEEE( Revista IEEE America Latina) Latin 总计检测缺陷数量 America Transactions, 2014, 12(4): 675-682 缺陷发现比率/% 88.9 [4赵咏斌,朱嘉钢,陆晓.SVM应用于測试用例生成的方法[冂].计 随机测试和OME方法的用例数分别比基于 Petri网的方 算机应用研究,2015.32(1):115-120 法的用例数多51.4%和113%,但后者的事件覆盖率比前者高5 Nguyen B N, Memon a m. An observe-model-exercise’ paradigm to 62.7%,代码行覆盖率高55.6%,检测到的缺陷比率高50%。 test event-driven systems with undetermined input spaces[ J]. IEEE 基于 Petri网测试方法和OME方法均明显优于随机测试。 Trans on Software Engineering, 2014, 40(3): 216-234 相较而言,OME方法所用的测试用例数比基于Pemi网的方法6] Darvish A, ChangC K. Black-box test data generation for GUI testing 多113%。因而基于 Petri网的测试方法优于随机测试和OME [C]//Proc of the 14th International Conference on Quality Software 2014:133-138 方法,如图16所示。 [7 Mayo Q, Michaels R. Bryce R Test suite reduction by combinatorial 基于 Petri树测试。。*。。随机测试 based coverage of event sequences[ C]//Proc of the 7th International OME方法 不可达问题 Conference on Software Testing, Verification and Validation W shops.2014:128-132 错误跳转 不强连通问题 [8 Nakajima H, Masuda T, Takahashi I GUI ferret: GUI test tool to ana (成为孤岛…) lyzc complex behavior of multi-window applications[ C]//Proc of the 181h Irlernalional Conlerence on Engineering ol Compuler Syslenms 不符合初始 模型问题 死锁问题 2013:163-16 尢界问趣 [9 Rauf A, Anwar 5, Jaffer M A, et al. Automated GUI test coverage anal 图16基亍Peti网测试与随机测试检测缺陷的有效性比较 ysis using GA[C]//Proc of the 7 th International Conference on Infor mation Technology: New Generations. 2010: 1057-1062 结果表明,基于 Petri网的图形用户界面测试是有效的,符 10 Cabasino M P, Giua A, Lafortune S, et al. A new approach for diagnos 合理想预期;传统的随机测试不能满足当今的图形用户界面需 ability analyais of Petri ncts using verifier ncte[ J]. IEEE Trans on 求;使用基于P昢i內的测试的总用例数较少、覆盖率高,达到 Automatic Control, 2012, 57(12): 3104-3117 了优化测试的要求。 11] Mahulea C, Seatzu C, Cabasino M P, et al. Fault diagnosis of discrete 事实上,基于Pem网的测试仅仅未能发现两点缺陷(这两 event systems using continuous petri nets[ J]. IEEE Trans on Sys 个缺陷OME方法亦未能找到),分析如下: tems, Man and Cybernetics, Part A: Systems and Humans a)“选择信用卡号”,由于测试的多次点击,发送多次信息, 2012,42(4):970-984 “确定”事件后,测试未对此无界事件敏感,因而误认为通过。 12] Miyamoto T, Horiguchi K. Modular reachability analysis of petri nets b)即使购买电子版,总是可以勾选“选择配送地址”。这 for multiagent systems[ J]. IEEE Trans on Systems, Man, and Cy 是山于在 homepage界面后,测试直接跳过“诜择配送地址”事 bernetics: Systems, 2013, 43(6): 1411-1423 件,遗漏此事件,进入下一测试,而未发现缺陷。 13] Sreenivas R S. On the existence of supervisory policies that enforce 以上两点,至今仍然是软件自动化测试的难题。 liveness in partially controlled free-choice petri nets[J. IEEE Trans on Automatic Control, 2012, 57(2): 435-4 4结束语 14]Issa A, Sillito I, Garousi V. Visual testing of graphical user interfaces Hnl exploratory sludy lowards syslernal ie definitions and approAches 图形用户界面在软件开发中越显重要,与此同时,对其的 [Cl//Proc of the 14 th IEEE International Symposium on Web S 测试工作也逐步重视。但是不确定的输入与基于上下文的环 tems evolution. 2012