软件测试宣言的诠释

从2000年开始从事软件测试,逐渐形成自己的软件测试思想,而第一次比较清晰呈现自己的测试的思想是2007年出版的《全程软件测试》,正如前言所叙:“从项目启动的第一天起到需求和设计的评审阶段,从后期的缺陷修正到产品维护——在整个软件生命周期中,开发人员和测试人员愉快地合作、共同努力,将软件产品的开发效率和质量推到一个新的高度。”,这些思想在测试管理工作的体现就是让测试人员更早地融入项目中,更主动、更密切地与开发人员协作,与项目相关利益者合作,确保项目按时按质地完成,即:

  • 测试人员越快地发现缺陷,项目越能尽早结束;
  • 测试人员尽可能多地发现Bug,遗留在产品中的Bug就会越少,产品的质量就会越高;
  • 测试人员和自己(开发人员)的工作都是为了相同的目标——按时、高质量地发布产品;

而此后和业界的测试人员、开发人员交流更多,思考得更多,在测试上的思想更清晰,于是在2012年9月5日在新浪微博(http://weibo.com/1652927771/yArIqoCKW )上发表了自己的个人软件测试宣言:

Software-Test-Announcement

宣言发布后,得到不少网友的肯定。最给力的,要属@培根芝士牛蛙堡:感觉总结的太到位,can’t agree more了,最近在看《软测之魂》,很多观点都是异曲同工啊,虽说就简单四句话,但是每一句话展开去都能写一本书。还有@让测试飞起来:又见右下八卦图亮点。每当遇到左、右难以分辩时就想到它,并以此为基点,偿试思考再进一步,思丝多而力争不乱。分割线不是直的哟,似乎体现开发中有测试(调试),测试中有开发,而又不完全符合对立统一。

当然,也有不同声音,例如:@胡争辉:首先应当强调产品工程,然后在产品工程中强调需求工程,其次在需求工程的基础上强调品质保证工程。脱离的产品工程的品质保证工程是无本之木,无源之水。这实际和我宣言没有关系,这里丝毫没有否定产品工程,也没有否定需求工程,实际第一句“更鼓励事先确定验证的标准并以此来驱动开发”就是强调需求的重要性。需求是软件开发的源泉,而这里关注点是“软件测试”,比较局限于测试自身的内涵和测试与开发的关系。如果拓展出去,我需要发表我的“软件工程宣言”了。

还有其它有意义的补充:

  • @程序员邹欣:值得开发,测试,项目管理人员思考。 认可内部测试的重要性, 但更重视产品对用户的长期影响;
  • @王立杰-WangLijie:认可测试对质量的改善,但更提倡质量是內建的;
  • 与@Testin-Daiyibin 讨论之后,增加一条,即:认可自动化测试的价值,但更提倡测试分析和设计的创造性和系统性。

那下面回归主题,就我自己的软件测试宣言,逐条分别进行说明,并简要阐述如何将它们应用于实际的软件开发工作之中。

1. 认可测试的价值,但更鼓励事先确定验证的标准并以此来驱动开发

首先认识测试的价值,测试是质量保证的重要手段之一,正如在我的博客中所讨论的“软件测试究竟发挥什么作用?”:

  • 对产品质量完成全面的评估,为软件产品发布(如验收测试)、软件系统部署(如性能规划测试)、软件产品鉴定(第三方独立测试)委托方和被委托方纠纷仲裁(第三方独立测试)和其它决策提供信息;
  • 通过持续的测试(包括需求评审、设计评审、代码评审等)可以对产品质量提供持续的、快速的反馈,从而在整个开发过程中不断地、及时地改进产品的质量,并减少各种返工,降低软件开发的成本;
  • 通过测试发现所要交付产品的缺陷,特别是尽可能地发现各种严重的缺陷,降低或消除产品质量风险,提高客户的满意度,扩大市场份额,提高客户的忠诚度。
  • 通过对缺陷进行分析,找出缺陷发生的根本原因(软件过程中的问题,包括错误的行为方式)或总结出软件产品的缺陷模式,避免将来犯同样的错误或产生类似的产品问题,达到缺陷预防的目的

所以软件测试的价值不容忽视,但是我们一直提倡“质量更是內建的(Quality is built in)”,软件产品的质量是在需求分析、功能设计、系统设计、编程等过程中逐渐形成的,事先清楚客户的需求,明确软件产品的验收标准,基于这些需求和验收标准来开发,开发人员清楚自己要实现的目标、清楚待实现系统的要求和限制,在工作中能够第一次将事情做对,或者说,第一次将事情做对的可能性会显著提高,在需求、设计、代码中引入的缺陷就会大大减少。理解这一点并不难,如果还是不能很好理解,就看看砖墙是如何砌成的?是先拉上水准线再墙砌,还是墙砌好之后再拉线来检测?

Workers

而且,对测试人员说,全生命周期的测试依据也明确了,能够及时提供明确的质量反馈,测试与开发之间也不容易引起的争议,测试效率也会明显改善。本句宣言和验收测试驱动开发(Acceptance Test Driven Development, ATDD)拥有共同的思想和内涵,无论是在传统研发流程中还是在敏捷过程中,都可以尝试这样去做。虽然在某些项目上需求不够清楚、或需求变化比较大,但也不能成为“自己懒于彻底分析需求”的借口,能明确60%的需求,也不能做到30%就停下来了。 否则,无论是“迭代”、还是“重构”,都是“返工”美化之后的代名词。难道企业希望自己团队常犯错误而不断修正吗?

2. 认可专业测试人员的不可替代的价值,但更鼓励开发人员做好测试

上一句已经回答了测试的价值,而这里是讨论测试工作由谁来做?测试有价值,但不一定由专职的测试人员来做,正如一些公司(如facebook)没有专职的测试人员,软件产品的研发也能正常开展。也许在某些初创的企业、特殊商业模式的软件服务、某些移动终端的且免费的产品等可以不要专职的测试人员,但对大多数软件产品、软件企业还是需要专业的测试人员,因为系统复杂、业务更复杂的原因,更可能是测试本身更需要方法和技术。当我们不能简单地掌握软件产品(系统)的测试方法和技术,就需要专业的测试人员。即使在相对低端的制造业,掌握其工作技能不是很难,但熟练工人的工作效率也是初级操作工的几倍。而软件测试所涉及的方法、技术与工具,从功能测试到性能测试、安全性测试、兼容测试、可达性测试到可靠性测试等,从测试计划、测试分析与设计到测试结果分析,从等价类划分、判定表、因果图到基于模型的测试、自动化测试等,已形成一个庞大的体系,没有专注,很难做得精,不能精通测试,又如何有良好的测试效率呢?没有专业的测试技能,测试的风险也很大。这些内容,在我的另一篇博客“专业测试团队会消亡还是新生”进行了充分讨论。正如网友在本博客上还评论说:“如果没有专业的测试团队,那么天上的飞机一定会无缘无故地掉下来,ICU里面的心电监护仪罢工也不会是新闻,核弹未接收到真正的发射命令而自行启动也不是没有可能,这个世界将不再是安全的世界。”

为什么更鼓励开发人员做好测试呢?这是因为:

  • 单元测试是基础,没有单元的质量,如何有系统的质量?而单元测试主要是在代码层次上展开,而且和编程交织在一起,编程和单元测试难以分开处理,所以单元测试最好由开发人员来做,确保良好的工作效率与工作质量;
  • 如果开发了一个测试工具,先让开发人员用起来好,还是只让测试人员用?无论是功能测试工具还是性能测试、安全性测试工具,都可以让开发人员先用,测试的效率会更高。一边构建、一边验证,更能及时发现问题,能更快调试和修正问题,将问题消除在萌芽之中。这也就是为什么我们一直提倡持续构建、持续测试;
  • 如果开发人员做更多测试,就更能认识到自己的问题,了解问题产生的原因,将来在设计、编程中更好地避免同样问题的发生,预防缺陷效果更好。

这里鼓励开发人员做的测试,主要集中在单元测试(功能、性能方面的测试)、集成测试等方面。而系统的测试、用户需求的进一步验证和确认、大规模的性能测试、兼容性测试、安全性测试等则有专业的测试人员完成。

3. 认可测试计划的价值,但更强调计划是一个基于风险不断调整的过程

这点比较容易理解,做一件事,如果没有计划就比较盲目,失败的可能性就很大。测试计划目的就是明确测试的目标、测试的需求(包括测试范围、测试任务优先级等)、测试风险、测试资源和进度安排等,但同时需求会发生变更、开发的设计与代码质量超出我们的预料、测试工作量估算不足以及其它新的测试风险等各种因素的影响,我们可能需要不断调整测试计划,以适应新的测试需求等。计划重要,但不是一成不变的,也就是我们强调:

  • 测试计划不能停留在文档上面,它是对测试过程的规划与指导,使测试工作开展得更顺利、更有效;
  • 测试计划不是一个文档,而是一个计划的过程,适时调整以及时满足项目新的需求;
  • 对测试计划的调整也是学习的过程,有利于将来(为下一个项目)制定出更可靠的测试计划。

4. 认可探索式测试的价值,但更希望测试是具有系统方法的、相对规范的过程

我们都知道,测试不能穷尽,测试不能做到百分之百,总是有不能测到的地方,总是有缺陷遗留下来,这就给我们留下了足够的探索空间。探索式测试(Exploratory Testing,ET)的出现正是因为在软件系统中存在许多未知的东西难以得到快速、简单的验证,需要我们转变思路,不要以固定的模式来完成测试,而是要换一种新的模式来进行测试,以提高测试效率。因为需求不清楚、时间紧等各种原因,探索式测试才更有效,在一定程度上是因为软件开发本身的问题,所以,我也戏称“敏捷开发”为“探索式开发”。从这个意义上讲,探索式测试方法是不得已而为之的一种方式。在传统行业,没有看到一种“探索式检验”(除了食品安全检验,在我国还不够成熟,可能会采用探索式检验,哈哈),而是有明确的技术规格,有相应的检测仪器或方法进行检验,可以明确地给出检查结果。

探索式测试作为明确的术语或概念,最早是由测试专家CemKaner博士在1983年提出的,距今天差不多有30年,但绝大多数测试人只是最近几年才听到或熟知这个概念。说明其价值是有限的,如果价值很高,也不至于我们现在才比较关注的。但最近几年探索式测试很热,为什么?

一方面要感谢James A. Whittaker撰写的《ExploratorySoftware Testing》一书,比较全面地介绍了探索式软件测试(国内是2010年引进本书的,但也有不足,我在为史亮和高翔写的《探索式测试实践之路》的序中谈到这一点),对推广探索式测试有很大的促进作用。另方面,在互联网时代,需求衍变越来越快;软件已经成为一种服务(SaaS),迭代周期越来越频繁。敏捷方法开始流行,被软件企业广泛采用,敏捷测试随之而生,正是探索式测试用武之时。而且探索式测试的确给人一些新鲜的感觉,将测试工作变成更有趣的探索式活动,在享受工作的同时完成测试,容易受到测试工程师的欢迎。

探索式测试也在不断发展,人们试图帮助它建立一套方法体系,例如James Bach提出的基于会话的测试管理(Session Based Test Management,简称 SBTM)。该管理方法将测试任务分解成一系列会话(Sessions,发生在特定时间盒内的会话活动,对软件系统的测试就是看成不断地问系统的过程,从系统那里获得答案,探索式测试的会话特征更为明显),测试人员在会话过程中完成一个特定测试任务的设计、执行和记录。

但从探索式测试的“探索”概念本身来看,还是强调“设计与执行”同时发生的特点来看,探索式测试更多强调人的创造性,强调随软件功能的使用对其理解不断深入来发现问题,更强调这种上下文驱动的思维模式,而对验收的标准、验证的具体指标缺乏关注,更谈不上测试需求的分析、测试的系统设计,在系统性和规范性方面有很大的欠缺,所以难以得到国际标准的支持,在多数软件产品的测试工作中探索式测试只能起着辅助、补充的作用。

任何严重的缺陷的遗漏可能给公司带来不可估量的损失,软件测试更注重对软件质量的全面评估,最大程度地减少软件产品的质量风险,从这个意义看,测试目标、测试需求、测试风险等都是非常重要的,需要认真分析,然后在此基础上进行系统的测试设计。测试的结果需要严格的覆盖率衡量,而要确保高覆盖率,需要事先进行精心的设计,从业务流程、数据流程、用户场景等各个方面进行细致分析,采用合适的测试方法设计出相应的测试用例来覆盖流程路径、数据输入空间以及各种产品使用的场景。事先能从需求覆盖出发来设计测试用例,事后还可以从代码覆盖来检验测试的效果。当然,更理想的方式是用基于模型的测试或形式化方法来验证系统的需求,给出更客观的、更准确的质量评估,我们对产品的发布就更有信心,客户就能得到高质量的产品或服务。

5. 认可发现缺陷的价值,但更重视对软件产品质量的全面评估与持续反馈

发现一个缺陷并得到修正,产品的质量就减少一份风险;在当前产品中发现的缺陷越多,就能更多地消除产品的质量风险,这是软件测试价值之一个方面的体现。但我们不能有这样的思想:测试人员发现的缺陷越多,测试人员的价值越大。例如,我们不能一直等开发人员把设计、代码都工作全部完成之后,我们再来发现问题,以体现测试的价值。我们更不能明明看着开发人员犯错误、或者明明知道开发人员可能会在某些地方犯错误,我们也不给予提醒、不给予帮助,而是等到他们做完工作,我们再把问题发现出来,以体现我们的价值。

正确的做法则是及时提供有关质量的反馈,可能是一种质量风险的提示,也可能是一种质量担心的倾诉,更可能是一种有关质量改进的、积极的建议。例如:

  • 在需求分析时,发现需求不够清晰,发现可能给开发、测试带来困惑的地方,都要及时指出来,并帮助纠正。
  • 如果发现文档中新增加的功能没有多大意义,或者是自己难以看清楚其功能对客户的价值,就要主动和产品经理沟通,建议拿掉这个功能,或让产品经理解释清楚、说服自己。
  • 如果觉得开发任务安排不合理,或觉得开发之前的讨论、培训不够,对业务理解还很肤浅,就要及时和开发沟通,帮忙消除这种潜在的质量风险;
  • 如果发现开发不重视单元测试、或者单元测试做得很少,就要协助开发做好单元测试,提供单元测试指导,提供单元测试框架,提供一切可以帮助开发改善单元测试的服务。
  • 如果发现个别的开发工程师不遵守编程规范,就要启动质量反馈机制…
  • … …

这意味着:

  • 测试工作不是软件开发生命周期的某个环境、某个阶段性的工作,而是贯穿整个软件软件开发生命周期,测试人员无时无刻不在关注质量;
  • 测试人员不仅仅要关注已经存在的产品缺陷的问题,还要关注可能导致缺陷发生的问题,尽量帮助产品需求人员、设计人员、编程人员预防质量问题的发生。
  • 测试不仅仅是测试人员的工作,而且和软件开发的其他团队(人员)有关系;测试工作不是测试团队内部的事,而是整个开发团队的事。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我
  • 上海市嘉定区曹安公路4800号同济大学软件学院
  • kerryzhu@vip.163.com