没有合适的资源?快使用搜索试试~ 我知道了~
自动化测试异常处理与用例管理.doc
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 10 浏览量
2022-07-08
10:56:54
上传
评论
收藏 562KB DOC 举报
温馨提示
试读
18页
自动化测试异常处理与用例管理.doc
资源推荐
资源详情
资源评论
.
1 / 18
测试用例的前置条件和后置条件
除 了第二点中谈到的数据需要准备外,在测试用例这个 Level,必须有一些条件满足,您才能开始执行它。比如准备一个初始设置条件下的
IE 浏览器和已安装过老版本该软件的 XP 系统。这些可重用的准入条件,可以考虑不作为特定用例的 Step,而是把它提取出来,作为 Setup Section
或叫 Pre-Condition。
对于后置条件或 Post- condition,往往我们用它来做一些处理或恢复,比如在上面的取款例子中,如果我们要用一样的重复测试,在正好取
完所有金额,余额为零的情况 下,可以通过一些步骤或数据库脚本重置余额。同样,您为某个用例设置浏览器禁用了 Cookie,执行完该用例后,
是不是也是需要回复到默认设置的状态 呢?
集中的把这些步骤整理成一个相对独立的操作单元,具体用例中只要引用就可以了,这样会便于对用例的理解和在多处复用。
顺便说一下,对于一些类似软件运行环境的条件,比如安装和配置测试中,需要 3 种操作系统和 3 种浏览器的组合等,我们可以把他放在 Test
Set 这个 Level 上来,不用写多个用例,只是在测试计划和执行的管理系统中作为测试集的一个环境参数,恰当地表达出来就可以。
4. 常用业务操作(Knowledge Base)
对于一个大型的应用,比如银行系统,开发和测试工作是长期的,持续的一个过程,这样的系统很适合引入自动化测试。它业务逻辑复杂,
测试技术性要求高,往往使用了不同厂商的工具和多种脚本语言(如 Shell,Python 等),也存在了很多可用的遗留脚本。
这些完成一些预定业务操作的脚本单元,是可以直接借用的。为了在公司和产品层面,管理好这些可复用的资源,一种好的方式是给它们标
上号,如 KB_PRJ01_Module02_XXX,集中管理起来,以后的用例中只要调用即可。
举 例来说,在银行业务测试中我们,需要模拟和银联的接口,让测试向外汇款,取得响应信息,并保存结果,这可能是个复杂而底层的处
理过程,对一般员工是不 需要,也没有权限去深入掌握的。这时,将他们包装成一个个 Shell 脚本或小工具,做好使用说明和统档,在以后的项目
测试中,只要调用就可以了。如 此,可以大大提高各个有相关接口的模块的自动化测试工作效率。
根据以往工作中常见的一些问题,对于如何写好测试用例(不仅针对自动化测试),做以下做几点补充:
推荐
不推荐
将用例的容描述清楚,强调怎么操作,验证什么,
然后期待的结果是什么。
Copy 需求和设计文档中的容;描述成:什么条
件下,逻辑会是怎样。这样对测试用例的阅读和
执行人员,不具有可操作性。
期待的结果要写具体,如:系统反应是什么;结
果数字是多少;用户被带到什么页面;显示什么
成功信息;后台或数据库中该记录的修改后结果
是怎么样的。
描述成:”验证系统返回正确结果“;”页面元素显
示跟 SPEC 一致“;”操作成功“等 比较抽象的说
法。
.
2 / 18
业务逻辑性较强的应用软件,做到以业务流为主
线,来组织用例。
以页面形式组织用例。
以 Module、Function、测试类型、基本业务流、
备选业务流的树状结构形式,分层次组织用例;
使用用例管理工具。
Word 格式的扁平组织结构,不利于管理和阅读。
用一个属性字段,建立用例和 Spec 等文档的某
个章节间的映射。
无法和需求对应,以后难以计算 用例覆盖率,
测试执行覆盖率。
每个 Module、Function、特定业务的一组测试
用例,之间做到独立、没有耦合。
用例之间有依赖,无法做到:挑选 30%的用例做
回归测试。
在时间和成本允许的情况下,尽量做到:用例粒
度为“一种不同的操作,得到不同的结果,就单
独写一个用例“。
在用例中的操作步骤中,甚至期待结果中,仍然
存在条件分支。
对于复杂的业务操作过程,如”一次顺序的表单
签核过程“和”一次完整的信贷手续“,单独增加一
些贯穿整个业务流的大型测试用例。
对于一个长业务操作,只存在比较零散的细节用
例。
将用例分优先等级,便于在回归测试时挑选核心
业务或用户操作密集的用例。
用例 没有优先级和重要程度的定义。
自动化测试用例设计的原则
很多公司在实施自动化测试的过程中,往往会把所有的手工测试用例作为自动化测试用例,并且直接进行脚本的开
发工作,甚至有些公司不写自动化测试用例,直接想当然地开发测试脚本,这些都是极其不规的做法,甚至很有可能是
导致最后自动化测试项目失败的最大原因。那么问题就来了,为什么不能使用手工测试用例完全替代自动化测试用例呢?
有以下几点原因,同时也是自动化测试用例的设计原则
.
3 / 18
● 原则 1:自动化测试用例的围往往是核心业务流程或者重复执行率较高的。
在选取自动化测试用例围时,很多测试工程师或者上级领导可能心里会过分依赖自动化测试,会认为自动化测试
就应该覆盖所有的手工测试用例,自动化测试的 覆盖率就应该达到百分之百。其实恰好相反,这样的想法往往会导致
自动化测试最终失败。在一些大型项目中,往往测试用例的数量会很庞大,而且如果遇到一些繁 杂的被测程序(特别
是 C/S 架构),脚本开发工作往往会相当耗时间,并且很多测试用例甚至根本就不能通过自动化来实现。举些例子,现
在很多公司自动化测试 都是刚起步,对自动化测试的了解程度只是停留在字面上,在公司对测试也不是非常重视的情
况下,当然不太愿意去花精力招一个具有自动化测试开发经验的工程 师,很多还是停留在使用工具的录制回放功能来
完成自动化测试。正是存在这样的技术限制情况下,往往在实施中,会出现很多录制回放不能解决的问题,测试工具
完全无法识别测试对象,无法识别一些特殊的加密测试控件。还有,如果项目的变更频率,测试用例数量大的话,增加
了后期的维护工作量等,都是造成最终失败的 一些隐患。投入越大,损失越大。因此,往往我们会选取最核心的一些
业务路径或者是重复执行率较高的一些手工测试用例进行自动化测试,这样能够充分发挥出自 动化测试的优势。
● 原则 2:自动化测试用例的选择一般以“正向”为主。
手工测试用例分正常情况和异常情况,在设计的时候,可能往往会去设计很多异常情况来验证程序是否有 Bug,
并且一个正常情况的测试用例往往会对应几十个非正常情况的测试用例,而每种异常情况的测试用例都会有各种各样的
预期结果。在自动化测试中,很多人喜欢将正 常情况称为“正向”;反之,异常情况则称为“反向”。下面,我们试想以下,
如果将这些异常情况全部转化、反应到自动化测试脚本中,那肯定需要非常繁琐的判 断才能做到。这个对于自动化测
试工程师来说,其现有的工作量还是今后的脚本维护量都是不可小视的。对于整个自动化测试项目来说,如果每个异常
情况都要写进 脚本中,那真的是花了大价钱买一堆小东西,小东西真正能发挥大作用的毕竟很少。因此,真正在自动
化测试项目实施中,往往会舍弃反向用例,个别比较重要的除 外。使每个东西都能发挥其最大的作用才是企业最想看
到的。功能自动化测试主要还是用于回归测试,回归测试的目的就是保证新增功能后老功能是否能够正常继续 运作。
而自动化测试则是让测试人员从繁琐又枯燥的重复手工测试中解放出来,这就是目的和目标。
原则 3:不是所有手工测试用例都可以使用自动化测试来实现的。
这里纠正许多测试从业人员的一个错误观念,刚接触测试自动化的普遍都会认为手工测试用例全部要转化为自动
化测试用例,但是在真正实施的时候,却发现很多 测试用例是自动化无法实现的,或者有些测试用例根本就没有必要
去自动化的。例如,有些用例会牵涉到硬件设备辅助的,最简单的例子就是用例执行过程中需要使 用刷卡机才能获取
卡号信息(如果有技术能力,当然不排除自行开发接口供测试工具调用,但毕竟能有技术实力做到这一步的不多,能有
这样的重视程度的更不 多);再比如,有些测试用例是需要与合作机构进行互动联调,联调时是需要和对方实时沟通,
以与根据具体情况给予响应的,这些情况多数还是只能使用手工人为 地来完成。当然,决定是否转化为自动化测试,
必须事先有一个规文档来定义哪些是需要转化为自动化测试哪些是不需要的,否则测试工程师就会不知所措,没有 一
个标准。一旦有了这个标准,自动化测试工程师就可以严格按照文档里的流程去完成需要转化部分的自动化测试用例的
脚本开发工作了。
原则 4:手工测试用例可以不用回归原点,而自动化用例往往是必须的。
很多有经验的自动化测试从业人员一定有这样的经历,很多时候脚本写完后,第一次执行没有任何问题,而第二
次执行时立刻就会报错,原因就是没有回归原点。 所谓回归原点就是执行的测试用例最终需要恢复其在执行前的初始
状态,如果没有回归原点,就会把此脚本称之为死脚本。举个最简单的例子,比如添加用户功能, 我们都知道每个用
户名都是唯一的,当写完一个添加用户的脚本之后,执行第一次没有问题,因为执行前此用户还不存在,但是当执行第
二次时,程序就会出现用户 重复而报错,此时这个添加用户的脚本就失去了它的价值,在这种情况下,我们就需要在
自动化测试用例的最后加上删除这个用户的步骤,这样在下次执行用例时就 不会出现用户重复的情况了。当然,除了
回归原点,还可以使用另一种方式进行,那就是初始化数据,比如 ATM 机取款,假设需要执行取款 100 元的操作,而
银 行卡余额是 120 元,当测试脚本第一次执行时可能没有任何问题,但是第二次系统就会报余额不足,这样就成为了
死脚本,解决方案有两种:一种是直接进行初始 化数据,每次执行用例之前都重置下余额(只需大于 100 即可);第
.
4 / 18
二种方法可以在用例执行前,先查询下余额是否大于 100,若大于等于则继续,若小于则做 一笔充值 100 的操作,这
样即可解决。两种方式可以看具体情况使用,数据初始化方便,但有时候初始化之后可能会影响到其他自动化测试用例
的执行,而第二种 方式相对在脚本上需要稍微花点功夫。究竟使用哪种方式还需要具体情况具体分析。总之,在执行
自动化测试用例之前做好数据准备,这也是自动化测试的关键步 骤。
原则 5:自动化测试用例和手工测试用例不同,不需要每个步骤都写预期结果。
在手工测试用例的设计过程中,几乎每一个测试步骤都有一个预期结果。但是,在自动化测试用例的设计中并不
采用,在自动化测试用例中,只有准备在测试脚本 中设置成检查点的步骤才有预期结果,其他所有的步骤只将它看作
一个步骤,这样做的好处是一目了然、目的明显、层次分明,以后写测试脚本直接跟着自动化测试 用例就行了。因为
经过前面的探讨应该已经知道,自动化测试中并不是所有的东西都需要验证的。所以,作者在前面的章节中也提到过,
基本上手工测试用例多多少 少都要进行一些转换的,就是因为它们之间的格式是不一致的。举一个简单的例子,假设
需要设计一个注册页面的自动化测试用例,有 10 几个表单 需要填写,在手工测试用例中,每个表单的填写都一定会有
预期结果,因为它的确在检查每一项是对了还是错了,只是用的是你的眼睛在检查而已,所以速度非常的 快,甚至你
自己潜意识都忽略了其实你已经检查了。但是,在自动化测试中,我们知道如果你要检查,那一定需要写代码,如果每
项都检查,那代码量有多大是可想 而知的,不是说做不到,只是这样做根本不符合自动化测试的特点。所以,绝大部
分时候,这些在自动化测试中可有可无的检查,我们全部“不检查”,只当做一个业务流程和步骤,是不需要设立预期结
果的。
难以对于 UI 样式或 UI 逻辑进行断言
以上图为例,有一个 UI 样式类的缺陷(左侧菜单树的根节点“console”下面多出来一条虚 线)和一个 UI 逻辑类的缺陷
(右侧用户列表只有一页,但“下一页”和“最后一页”图标依然是可以点击的,即没有灰显)。此类缺陷即使对于经验丰富、
心思缜 密的测试人员,在人工测试时也是很可能发现不了的,并且在自动化测试过程中也很难进行断言。
即使存在上述问题,测试脚本中是否有充分的断言,依然是评判自动化测试有效性的一个重要指标。但实施过自动化测
试的人应该都会有这样的体会:“大部分断言在大部分情况下只是佐证软件是运行正常的”。
当然,所有人都应该是非常期待看到这样的结果,毕竟谁也不希望每次回归测试时都是用例大面积不通过。只是辛辛苦
苦写这些断言语句的测试人员心里未免有些“小遗憾”。
本系列上篇文章中谈到“很多人一提到自动化测试脚本,马上就想到需要提供录制工具”,但如果换个角度思考,很可能
就是“柳暗花明又一村”。
在这里,我们同样换个角度思考,假设我们的自动化测试主要目标是为了证明软件运行正常,那么我们会怎么做?
笔者这边的一个经验就是“按照完整的业务流程来组织测试用例,只对少量、必要的关键点进行断言”。以“租户对虚拟化
资源的申请使用”为例,来具体看看测试用例的组织方式:
1. 新租户注册;
2. 管理员登录系统,对注册租户进行审批,然后退出系统;
3. 审批后的租户登录系统;
4. 租户申请所需要的虚拟化资源(比如,40G 硬盘、2 核 CPU、2G 存),然后退出系统;
5. 管理员登录系统,对租户申请的资源进行审批,然后退出系统;
6. 租户登录系统,在已申请资源的基础上创建安装指定操作系统的虚拟机;
7. 断言虚拟机是否创建成功;
剩余17页未读,继续阅读
资源评论
智慧安全方案
- 粉丝: 3695
- 资源: 59万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功