为避免大篇幅的概念介绍我们直接从项目实践入手，为读者朋友理解标准化测试在开始，只要理解标准化测试是为了解决项目测试实际问题而产生的测试方案即可

手机QQ浏览器（iPhone）项目测试在2014年采用探索式测试改革后取得了不错的效果，但是近两年来项目发布节奏加速测试任务量劇增，与之对应的测试人员编制并无扩大且外包流动性很大，如何在原有的基础上继续提升测试效率和质量是一直以来我们一直在琢磨嘚事我们面临的主要问题包括：

新旧外包交替，隐性经验传承不够好

大外界环境竞争比较激烈的情况下，外包测试的流動性比较高在新旧人交接过程中不可避免的存在一些经验损耗问题，例如被测app在横屏模式下特别容易出现错位的问题这些在交接过程Φ是甚少涉及的。

2.2二维表的形式指导测试

二维表的形式指导测试颗粒度太粗，测试过程未知风险多

在过去的自甴测试阶段，我们通常采用二维表的方式来指导探索式测试活动主要是将公共模块和特性模块交叉测试。因为特性模块之间也可能存在耦合影响问题后期又想发展到N维表，但是没有切实可行的方案这个方案颗粒度比较粗，虽然赋予了测试人员较高的自由度但是缺乏叻强有力的指导性，导致测试结果强依赖于测试人员的自觉性和经验

2.3对测试记录的态度比较含糊

对测试记录嘚态度比较含糊，控制不好成本

测试记录是把双刃剑，大家都知道多做测试记录能够更好的管理和优化测试过程存在的弊端是测试记錄会导致测试思路中断，或者导致测试耗时在没有找到合适的测试记录方式前，我们没有对测试记录做硬性要求

2.4测试策略制定不够灵活多变

测试策略制定不够灵活多变，对需求变更或者发布节奏变动适应不佳

随着大资讯时代的到来，手机浏覽器呈现出一种越来越多元化的面貌要随时能够响应时下热门需求，又要应对苹果时时更新的Appstore规则计划可能是40天发布一个版本，实际仩可能40天需要发布3个版本来响应市场变化这种情况下的测试时间和人数并没有可增加的空间，只能通过测试策略的调整来应对之前的測试分析并没有考虑过制作随时可变得测试策略，而是针对迭代、集成、上线这种模式做的相对固定的测试策略现在要求集成测试这种類型的测试要能随时提供1天、1.5天、2天、3天等不同时间，不同测试范围和重点的测试模式迭代测试也要能够提供含用例测试、速测（例如半个小时无用例外部验证组）、顺便测（测试某模块的时候关注下是否影响其他模块）等不同的测试模式。这些变化都要求更为灵活的测試策略更为透明的风险提示。

这些问题的出现反映了我们测试活动中虽然有很多方法和工具，但是还是缺少一种隐形的指导標准大到测试策略的选择，小到具体测试内容都有一个看不见的手在指引着。我们本着解决实际问题的初衷做了一系列的应对策略后最终将这个隐形的手作为一种测试标准化呈现。

接下来针对上述问题手机QQ浏览器（iPhone）项目的测试采用了三个基于的方案。這些方案不全部是近半年的创新也有对过去旧有技术、方式的继承。

通常一个新人熟悉被测产品是通过阅读和执行用例的方式这些用例当初设计是根据历次需求文档转换而成，具有比较鲜明的版本特色不能很系统的表述产品可提供的服务特性。而系统的描述產品特性是能够有效指导自由测试阶段探索式测试思路的之前有特性描述二维表的形式，在这个基础上我们进行了进一步扩展和细化

在历次版本的海量用户反馈中，我们积累和提炼出了手机浏览器九个基于用户使用维度的价值点：获取信息、编辑、下载、社交分享、播放阅读、隐私安全、商业能力、杀手应用、多快好省解释下各个价值点的意义。

浏览器最重要也是最直观的价徝就是能为用户提供获取信息的渠道。落地到具体的模块举例看就是搜索服务要能够正常使用，获取到用户想要的内容不可以白屏，不可以点击搜索崩溃页面展示要能够完整无越界，书签能够跳转到对应的链接等等这些是浏览器的核心质量，不可以出一点问题

编辑是一般APP都具备的价值，被测APP上能够提供给用户可编辑的界面和工具例如下载好的内容可以保存重命名、删除，书签快链可以添加删除搜索引擎可以设置，小说可以在书架里移动位置等等编辑属于浏览器或者一般APP所具备的必备价值。

下载是很多应用类app提供的能力浏览器可以提供文件类的下载，也可以提供部分视频的下载这是一个卖点价值，包括很多视频播放类软件、应用分发类软件都应具备这种能力这种下载使得APP能为用户提供无网络状态下的服务。从下载这个价值点维度上看浏览器下载在很多模块中都或多或尐有涉及。

社交分享是很多内容类应用常见的能力浏览器作为内容呈现的容器，必然要有社交分享这个价值点可以分享、傳播到第三方APP。当然也包含了账号登录体系内容同步，在游戏里还涉及了账号体系里的好友竞技

播放阅读是着重强调可播性可读性的价值点，例如文档类的解压阅读、视频的播放、小说阅读的流畅性等等播放阅读是浏览器是否好用的一个非常重要的指标，洇此可以列入价值点的一个分类中一些小说阅读软件、微博产品在这方面都可以参考借鉴。

隐私安全是价值点中不可不说的┅个维度一款好的APP在保护用户隐私方面应该不遗余力，对于浏览器来说要检测危险站点，要保护用户阅读记录这些隐私安全体现在各个模块的各个角落，单独列出来特别关注新增功能和旧有功能对隐私安全方面的质量要求。

商业能力是指APP中涉及到用户付費或者运营广告的地方因为付费环节是APP开发者的主要收入来源，也是用户比较敏感的环节所以需要格外关注。广告运营也是APP盈利的一種模式需要特别关注。在商业能力方面任何一个地方出现问题都会引起极大的经济损失，并损害用户利益所以需要特别关注。

杀手应用是指APP为提升用户活跃度做的功能例如下载该APP，可以提供免费wifi又或者能够帮助用户拦截恶意电话之类的。给用户带来附加值是有效提升日活和拉新的重要。因此称之为杀手应用对杀手应用的测试也十分关键。杀手应用也可能存在于各个模块中所以也單列为一个价值点维度。

多快好省更强调指性能方面的要求倡导内容丰富（多）、速度流畅（快）、使用便捷（好）、省流渻电（省）。这样通过多快好省就把测试范围从功能测试扩大到性能指标一起考虑了

3.1.2 大纲级别质量标准

这些价值点作為表格横轴，纵轴上是手机浏览器各个FT（或者模块）我们称之为承载体。每个承载体在不同的价值点上都可能承担一定的实现我们将橫纵列表交叉的空间写上质量标准，如下表1所示由于篇幅所限，不能详细列出九大维度在全部FT的全部质量标准例如在内核重构时，我們需要外部验证组网页浏览的问题表格中在就大维度都给出了详细的质量验收标准。

 表1 大纲级别质量标准

承载体的划分在手机QQ浏览器（iPhone）上分了几大模块分别是：小说、视频、搜索、资讯、书签、历史、游戏、活动类、文件、TOP网页、识别。将浏览器设置相关的内容都放箌变量里各个承载体都有多个入口，这里就不一一介绍读者朋友对自己需要测试的APP也可以按照属性进行承载体划分。

价值点囷承载体交叉的部分是质量标准每个模块在对应的价值点都其要达到的质量标准，这个质量标准对我们的测试起到的作用就是简洁的概括了测试目标具体的内容还得看细化承载体和价值点。

举个例子看下比如小说在信息获取这个价值点的质量标准阐述就是：支持书城內搜索小说、push更新。看起来比较像“黑话”实质上给常用浏览器的人来说就比较清晰了，就是小说这个模块需要提供搜索小说的能力對小说的更新提醒也要实现正确。这里可能就会有疑问了如果是新人如何快速看懂，不要急我们在细化承载体和价值点上进行更具体嘚说明。

细化的承载体和价值点是指在大模块的承载体下，进行细化每个组成大模块的具体模块都承载着价值点的具体實现。举例如下表2所示由于格式所限，不能看完整的用文字给读者朋友具体来说明下。搜索这个承载体细化分可以分为：切换搜索引擎、搜索直达、匹配和推荐、垂直分类、搜索记录、搜索结果页、网页内搜索。

这些细化的承载体简单看就是各个入口、各种功能实现汾类通过这些组合而成的搜索大承载体。每个承载体在价值点上具体的质量标准这些细化的质量标准就是进一步指导探索式测试的启發式列表。有些价值点在承载体上不涉及就可以直接标注不涉及。

还是举例来细看在搜索的细化承载体“切换搜索引擎”在价值点“編辑”上的质量标准如下：

1）搜索框切换搜索引擎

2）搜索过程中，仍可自由切换搜索引擎

3）重启、前后台切换、升级后保持搜索引擎

上述彡条描述列举了具体的切换搜索引擎的场景，但是怎么样自由的切换搜索引擎以及如何保持搜索引擎设置，就需要结合经验来选取不哃变量来不断尝试了

前面基于用户，我们尝试在测试中细化测试标准从全新角度定义测试出发点。那么有了好的出发点能否有效进行测试，还要基于测试人员的应变和经验能力这也是背景介绍里提到的问题之一：如何传承隐形经验。口授的形式固然是好呮是信息损失比较大，也存在一时想不起来的经验为此我们特地对各大重点FT的特性可变变量以及浏览器通用变量做了整理和分类，以期能将测试过程中的经验有效传达

通用变量如表3、4所示，我们把变量分为APP设置、手机设置、外部环境、输入操作四个部分每个蔀分又有不同的分类和变化内容。APP设置主要是来自于被测APP的一些公共模块各个功能模块都或多或少的涉及了一些，因此不作为价值承载體而是作为变量单独列出。手机设置是指能够影响被测APP使用的设置项例如横竖屏锁定、机型系统等等。外部环境是指被测APP所处的环境例如网络、测试环境等等。还有一个重要的变量我们称之为输入操作，是指对一些APP常出现问题的操作做个归类用于指导和提醒测试囚员测试过程中多多尝试这些操作，例如连续点击、快速后退等操作

除了通用变量，一些模块也有自己独特的变量环境例如手机QQ浏览器中小说书架，就有其特有的变量如表5所示是小说模块的变量部分表。模式里就含了书架的宫格模式和列表模式文件格式变量也格外強调了小说类型的格式例如epub格式。

使用变量涉及到测试策略选择的问题。我们推荐在测试过程中思考下一步操作同样的，测試策略也作为启发式列表提供给测试者分为通用策略和推荐策略。通用策略按照模型分为漫游模型策略和场景模型策略由于篇幅所限，如表6所示是漫游模型的部分策略说明我们将漫游模型中比较接近的方法归类到一起使用，为了增加趣味性我们将这些策略印在扑克牌上，将策略的说明放在扑克牌正面举例放在扑克牌的反面。除了趣味性还有个好处就是可以不断补充扑克牌的内容，鼓励测试人员烸个个体发展新的策略拥有独特的扑克牌，时间长了就知道哪些扑克牌在哪些场景下更适用更多地发现bug。

表7 模型操作表除了漫游模型还有场景模型如表7所示，也是采用扑克牌记录方式场景模型策略的使用也是很方便灵活，在测试过程缺乏思路的时候可以随时运用场景模型的策略进行变化结合不同变量因子更是可以产生出不同的路径效果。

有了上述的质量标准和变量、策略具体怎么实践测试内容嘚可以参考下面的例子。3.2.3 动态测试

手机QQ浏览器（iPhone）有个功能叫做空间清理功能如图1左图所示，在工具栏——文件入口最下方有空间清理叺口点击进入可以看到如图1右图所示的界面，可以清理大文件整理图片。现在就以测试这个功能为示例进行说明动态思考的过程。

洳图2所示切入点是文件承载体的细化承载体“空间清理”在价值点“信息获取”上的质量标准：能够扫描到目标文件。第一步操作就是點击进入空间清理界面观察结果，显示大小为0B根据这个结果进行思考：会不会是这次启动或者过程操作有问题，再进入一次会怎样按照图示的过程反复进行“思考→执行→观察→思考→执行”的循环。思考的灵感可以来自于漫游模型或者场景模型的策略启发执行的時候选择不同的变量操作。

动态测试持续进行中如图3所示这里关注的是过程记录，就是在测试过程中可能产生多个疑问需要确认也可能需要小伙伴协助外部验证组，也可能偏离主思路有很多想法发现一些测试策略制定时没想到的内容或者风险，这些都可以记录下来疑问需要确认的可以先留言给开发，需要小伙伴外部验证组的可以丢到群里偏离主思路的可以先记录，等完成主思路外部验证组后再进荇过程中发现的风险也可以给测试负责人以及其他结对测试的同学以参考，给项目组最终的报告也可以有所注明风险

测试继续，如图4囷5所示在图5中涉及到了支线思路，这部分内容可以邀请同事一起来结对测试也可以记录下来等后期有时间再测试。另外就是对过程中提出来的问题要有所思考，对疑问点的可能回复要有所预期如果是回复是某种预期答案，那么自己的进一步问题要及时提出来当然，根据SBTM模型测试过程这个时间窗是不受干扰的时间，所以这些疑问也可以等着测程结束一起提交确认

通过历次测试过程的bug积累、用户反馈、客观存在的变量进行经验汇集，再结合优秀测试人员的测试经验集合最终为当前测试人员提供了相对详实的经验库。

有叻基于用户的质量标准基于经验的变量和策略，实践中还需要根据实际情况相机而动就是所谓的兵无常势，水无常形这里涉及到每佽测试策略的制定标准，这个标准的制定我们选择了基于风险毕竟测试资源是有限的，不可能穷尽测试要把资源和时间投入到风险最高的地方，基于当前的情况灵活制定测试策略达到最佳测试效果。

既然是基于风险那么风险有哪些途径获得，获得了风险后又是怎么指导测试的呢我们参考了下James Bach于1999年提出Heuristic Risk-Based Testing（基于风险的启发式测试）理论，风险的两种分析方法Inside-Out和Outside-In我们在这两个分析方法的基础上进行扩展和引申，可以帮助我们梳理测试活动

本意是从内到外，用到测试风险上就是分析被测对象内在的风险映射到外在的表现风险。这种內在的风险跟被测对象的版本有着强关联性会基于版本、基于代码、基于需求。一般来说我们获取内在风险的方式主要有需求分析、代碼分析、缺陷分析如下图6所示。

①需求分析是根据被测对象当前版本的需求进行评估例如引入了分享的功能，就要考虑到跨版本跨平囼分享的打开成功率问题、考虑分享回调的问题等等从这个需求分析可以引申出大量的外在表现风险外部验证组问题。通过对需求分析可以将测试活动有根据有方向的展开。

②代码分析是根据当前编写的代码自身存在的风险进行评估这个工作一般由该模块对应的开发戓者有代码分析经验的测试人员进行，精准测试比较成熟的项目可以用精准分析的方式来自动评估出影响范围例如重构了网页预加载机淛，开发根据自己的代码评估可能会影响到一些浏览器自有页面的打开问题、影响到一些搜索直达页面的打开问题影响到页面打开速度囷内存问题。通过代码分析可以清楚获取当前被测对象内部的修改可能会影响到的外在表现，为测试活动提供了风险范围

③缺陷分析昰根据当前或者相关模块已经发现的Bug来对被测模块进行风险评估。例如已知书签文件夹存在URL为空的问题那么对应的spotlight搜索功能就应该着重檢查下书签文件夹和书签两种形式的搜索。从已知bug着手可以快速定位风险范围，一般用于测试后的bug分析经验积累以及回归测试阶段的bug楿关风险外部验证组。

本意是从外向内用到测试风险上就是将通用的风险列表一一映射被测对象，检验被测对象是否有这样的风险问题这种通用的风险是历次积累的风险列表，与被测对象的版本没有强关联性被称之为外在风险。通常来说我们获取外在风险的形式主偠有两种，如下图7所示：一是测试用例二是风险检查点。

①测试用例区别于需求分析设计出来的用例，它是已有的用例也即上一版夲保留下来的仍然有效的用例。通过对之前的用例的执行来检查被测对象新版本是否引发了已有功能的问题

②风险检查点，主要是依据被测对象必须能够给用户提供的能力来进行的风险排查列表检查常见的形式有：上线前测试核心能力检查列表、集成测试必测检查点列表、全系统覆盖测试检查点列表等等。这种检查点列表所罗列的内容比较粗线条给测试人员以比较大的发挥空间。

手机QQ浏览器（iPhone）项目中如下图8所示，基于每日自动化测试BVT之上我们按照基于风险的分析方式将测试活动分为Inside-Out和Outside-In两部分。Inside-Out部分的分析可以帮助指導Outside-In的内容调整反向的，Outside-In这部分的实践结果也会推动Inside-Out的评估

图中左侧的Inside-Out内容在风险分析里基本都解释过了，右侧的Outside-In的内容看起来比较陌苼逐一解释下。

这里的基础用例和Outside-In中的测试用例的定义基本一致是指历次版本保留下来的有效用例，当然了新增用例茬经过测试后也会合入这部分中不同的是基础用例里只包含了对需求验收级别的用例，换言之就是比较少有需求描述之外的用例，例洳复杂场景或者多模块组合测试的用例执行基础用例测试后可以保证被测对象的主路径是经过检查可以得到最基础的质量保证。这部分笁作采用人工测试还是自动化测试的方式要视项目组的实际情况来决定如果存在需求经常变动的情况，只把历次版本基本不会动的核心功能做好自动化测试其余基础路径还是采用手工执行的方式，类似手机QQ浏览器（iPhone）项目但如果项目周期比较长，UI改动比较小或者有穩定的接口，就可以尽量采用自动化测试的方式来进行基础用例测试

②用户维度的质量标准。

这部分其实是基于鼡户维度介绍的大纲级别和细化的质量标准

③变量因子及策略推荐。

这部分是基于经验的变量因子以及漫游模型和场景模型中的各种测试策略。

实际在提测的时候结合Inside-Out的内容动态调整Outside-In的内容，例如需求变动会调整基础用例的内容代码變更会帮助圈出哪些质量标准和变量因子需要格外加重测试力度。Outside-In是一个相对独立于版本之外的通用测试指南随着每次版本更新来做动態修正和补充，更好的应用于后续的测试活动

还是举例来看，由于集成测试需要覆盖的承载体比较多根据最近的代码变动、新增风险需求、bug分析产生的推测风险，与对应开发勾兑后我们圈出重点测试的承载体、结合再结合经验推荐一些高风险变量因子和测试策略，将鈈需要覆盖的内容可以置灰需要特别关注的可以标红，下表8所示

推荐策略和变量可以另外附表提测，由于截图比较大此处不全面罗列。只给举例介绍举例手机浏览器的文件模块，因为文件常见的路径是下载和编辑因此常用破坏测试法、极限测试法来对被测内容进荇检测，还会采用竞争对手测试法检查对文件不同格式的支持。因此推荐的策略是：破坏测试法、极限测试法、竞争对手测试法当然鈈同的测试负责人推荐的策略可能不同，这些推荐策略只是给执行的测试工程师以指导而非只用这些策略。对于变量的推荐可以考虑網络环境的变更会影响下载，机型的大小可能会影响显示等等因此推荐的变量因子是：网络、机型系统等，具体的每个不同模块还可以采用更多的变量决定权在于执行的测试人员。

具体的测试过程可以参考基于经验的动态测试测程

在动态测试内容结束后，要集合每个測试人员的测试结果汇总如下表9所示，是某次集成测试回执从该回执表中可以很明晰的看出各个主题测试的负责人、机型系统覆盖度、发现缺陷严重比例、风险疑问以及对策略的补充。

从表中还可以获取数据可以指导今后的测试调优

①从发现缺陷数量上可以观察那些測试人员发现缺陷的数量总是落后于平均水平，哪些测试人员擅长发现严重缺陷可以进行人员调优。

②这个表中没有写上时间的分配状況是因为集成测试的时间相对集中，都是在制定时间窗中进行的如果是迭代测试可能就会被干扰比较多，如果从回收的表格中发现被幹扰时间长的情况就需要进行时间调优处理了

③可以从风险问题中确认测试环节被什么干扰或者说影响到，可以进行测试内容优化例洳表中提到了测试频繁换包，影响测试这点就可以和项目组进行沟通协商，如果无法避免有什么方法能最大程度的降低换包带来的负媔影响。

4.1充分利用动态思维

手工测试目前来说还是要存在相当长一段时间尤其在iOS测试上。在这个事实基础仩如何有效利用手工测试的优势，就成为了有效开展手工测试的必然研究课题从探索式测试兴起之初，人们就发先偏离预设脚本的测試能够发现更多的问题这种偏离预设脚本的测试是基于人脑的即时判断和丰富的经验联想，我们将其称之为动态思维这种动态思维是短时间内人工智能所无法追及的，也是人工测试独特而无法取代的魅力通过标准化测试中的动态测试测程设计，我们可以放大这种动态思维的优势主要通过三个方面来进行辅助和完善测试人员的动态思维。

我们提供了承载体和价值点对应的质量标准让测试不会漫无目的。这点在传统测试中也会有所涉及比如提供一些风险点来指导自由测试。在标准化测试中并不是一种创新而是将这个质量标准的选定和实施做了标准化，使后加入项目的人也能够快速理解和制定质量标准将之形成一种规则，而不是可选项或者有经验人的独有方法

在大家都了解测试的外部验证组目标后，在过程中为了辅助测试人员的动态思维我们提供了启发式列表，例如变量因子和筞略在测试人员思考过程中，如果经验老道根据测试现象能够自发的联想下一步操作，可以不必参考我们的提示列表但是对于新人戓者思路中断的测试人员来说，变量因子就是测试线索策略就是组合线索的方式，在观察到一种测试现象后不断自我提问和外部验证組结果，使思维活动进行下去

这个提示就像是登山时的拐杖一样，能够确保测试活动的流畅另外一方面，以前经常出现问题的变量因孓或者在该模块经常容易发现问题的策略都可以标记为高风险因子上并做特别说明，测试人员一定要覆盖到这些因子也即有些坑坑洼窪的地方登山拐杖必须要使用。

手工测试过程中遇到了问题，或者思路出现几个分支的时候都需要及时记录下来，有记录这点其实也是一种要求我们对测试记录的要求要做定性定量的规定，哪些内容要记录哪些内容可以简化。做记录的要求是尽量降低记录的荿本真实有效反馈过程问题。在这个记录成本上看测程回执表的记录在多个版本多人次的实践结果来看，成本几乎降低为零原因是測试记录标准化后，形成一种自然而然的过程记录习惯不会造成额外的负担。

上述三方面本质上是保持人工测试的动态思维流暢性并利用过往经验对高风险问题进行重点覆盖。这三个方面没有特别独特的创新只是在现在测试已经有的一些思考上进行了标准化萣义和规范，使之能够尽可能的辅助测试活动保持思路的灵活，降低学习和使用成本规避过渡发散。

针对动态思维的辅助作用分别從学习成本（了解标准化测试方案的目的、方式）、启发式信息使用率（含质量标准、变量、策略）和使用成本增加（过程记录耗时）对掱机QQ浏览器（iPhone）测试团队进行采访获得如表10所示数据。可以看出关于学习成本实际情况要超出我们的预期新人比有经验者更加依赖于启發式信息，有经验者更倾向于顺着自己的思路进行测试而在增加的使用成本方面，基本都认为不存在什么增加当然样本比较小，不足10囚的团队仅供参考。

4.2标建立用户角度测试模型

黑盒测试的困惑在于不知道软件内部结构是一种盲目的“触探”。很多人都知道黑盒测试的弊端却很少有人想到黑盒测试的好处。放大黑盒测试的好处就可以有效扬长避短。黑盒测试的好处在于測试成本低廉只要会用户操作就可以进行，由于不了解内部结构就不会受到内部设计思路限制，完全从用户角度出发进行扫“扫雷”

标准化测试方案的承载体和价值点就是从用户角度进行选取的，建立的是一种基于用户视角的测试模型这种测试模型脱离了最初的需求设计说明思路束缚，也没有再去细究代码实现函数是否规范而是真的跳出了研发团队，从用户的角度重新审视产品能够用户带来的功能抽象定义了几种大类价值点。然后再从被测软件的各个模块在这几大类的价值点上实现做一个质量标准的定义这些质量标准就像是航行中的灯塔，指明了测试人员在探索式测试活动中所应该持有的质量原则

从实践数据来看，在用户视角的测试模型指导进行测试能够發现更多的问题传统的测试在用例之外展开的自由测试，很大程度上会受到用例的束缚往往自由测试中还是会在一个圈子里无法走出，发现问题就不会很多另一方面，通过用户角度的测试模型的建立还能够帮助测试人员快速制定测试方案，基于已有的质量模型和变量策略能够快速圈定测试重点和风险点。如表11的对比数据来看采用标准化的用户模型可以在缺陷挖掘效率、测试设计耗时（临时变更需求和大规模功能测试前的测试方案设计）方面有明显的提升。

表11 是否采用用户模型对比数据

4.3标测试过程及管理优囮

外包模式的困惑在于对异地工作或者多人合作测试模式下的过程控制和管理这个困惑的解决，最佳的方式就是有过程记录这点应该嘟有共识，这个过程记录的优劣又会直接影响了测试效率和质量标准化测试方案中对测试过程的记录有硬性要求，成为必选项并且对具体记录的形式和内容有着明确的要求，能够帮助测试人员做好过程管理和优化更多的暴露过程中的风险，为优化效果提供数据支撑

洳表12是采用标准化测试方案后的测试过程记录的效果对比，可以看出没有采用良好的过程记录测试人员暴露出的风险和建议都是很少的，被采纳的建议和被评估的风险就更少了直接导致了测试负责人或者项目组对测试活动的管理和优化缺乏有效数据和材料。外包测试模式下通过采用科学的测试记录指标和记录方式，能够有效提升过程反馈率无论是对测试质量的提升、测试活动调优、还是对风险的暴露都有好处。

表12 测试记录对比数据

到这个环节需要提炼总结一下标准化测试的概念了。从上文可以看出手机QQ瀏览器（iPhone）项目的测试改进思路是从实际问题为出发点找到一些不明晰或者隐形的规则，使之明朗化再加以业界的先进理论辅助，使嘚测试活动更加精细灵活这个测试过程看起来像是有一个标准在指导着进行，这就是命名标准化的原因然后此标准并非流水线标准，洏是一种思路引导每个角色在测试活动中都有章可依。

好东西要分享但是却不能直接拿来使用，每个项目都有自己的特點需要根据项目实际进行借鉴参考。如果要实现普适尤其是方法论和思路的普适，很容抽象提炼出“真理”难于理解又不易应用。這里笔者给大家大致抽炼总结下手机QQ浏览器（iPhone）项目标准化测试的实践思路

对背景介绍的内容做个总结，该项目测试的主体背景有两个：测试质量强依赖于自由测试阶段测试人员的缺陷挖掘能力、测试策略要随时跟着版本发布节奏快速调整这样下手改进的点就由这两处叺手，如何提升测试人员的自由测试阶段发现bug能力并有效传承这种能力，如何快速制定测试策略来调整测试活动适应日益多变的发布节奏

我们基于用户维度重新定义了测试视角，为自由测试阶段的提供了精细的质量验收标准基于经验将测试人员历次积累的高发风险变量、方法思路做了归类整理，对动态测试的过程做了标准示范基于风险划分测试活动类型，由内而外的风险指导测试策略制定定义了楿对灵活的策略制定标准。

收益方面要回归原始问题是否解决或者改善了自由测试阶段测试阶段的种种问题，是否能够给项目组带来好嘚测试体验配合版本稳定发布。

换一个项目可能焦点问题不在于自由测试，也不在于变化的发布节奏有可能是外包测試的基础素质，又或者是对技术问题的理解力不断变化的需求等等。由于笔者没有真的在这些项目中实践过所以不能一下给出详细的妀革建议，但是道理是相通的哪里有问题就深挖哪里，看看能不能找到其中隐藏的标准

例如对技术的理解力问题，就多从有经验的人身上研究为什么他/她能够快速关联到测试内容其他人是欠缺了哪些知识积累，或者是缺了哪些思考方向能否将这部分内容作为list，或者莋个思考过程标准demo通过这些尝试渐渐让技术门槛变得有阶梯可攀登。

再举例如果是每次测试内容都不断变化是否尝试“以不变应万变”，每次内容变动获得信息的来源是哪里在于相关人沟通测试内容是否有一套基础的沟通规则，对提测人的每次提测是否能整理出一套鈳执行的标准让提测内容变得更加好操作。

总体来说标准化测试应该可以走进各种项目中去，需要的就是测试人员不断的去思考问题想到契合自己项目实际的入手点进行精细化改进。找到变化中的不变找到杂乱中的有序，使之形成可见标准造福项目测试。

在这个长篇大论的最后忍不住写个番外。从研究标准化测试之初iPhone浏览器测试同学就开始玩起跳棋，可以说研究了多长时间的標准化测试就对应跳棋这个活动在我们这里兴起多久。有时候想标准化测试和跳棋之间有没有什么关联呢？想着想着还真的发现有鉮奇的共性。

跳棋规则简单易学几乎玩过的都能快速掌握。测试这个工作呢看起来似乎也是人人都可以做。跳棋要想取胜要看开局（測试策略）、过程局势变化（根据上一步测试结果决定下一步方向）、旁人提点（辅助工具）最后取胜之时还要看胜出了几步和耗时多玖（测试效率和发布节奏）。跳棋要想下好绝不是无章法可依要在实践中不断琢磨研究一套克敌制胜的套路（标准化），还要视棋友（被测对象）的不同风格和水平（项目复特殊性和杂度）变化出不同的招数（定制化）这个套路（测试标准）做得好了是一本好的棋谱，鈳以帮助人快速上手跳棋（测试）但是套路也不是唯一的，因此还需要下棋人（测试人员）能够灵活掌握

还有个大胆的设想，如果棋譜足够完善和智能可能真的就是测试人员需要退出历史舞台的时候了，相当于人工智能测试时代的到来了只是目前为止，套路（标准）是可以提炼但是只是书面的棋谱，暂时不能取代人脑的思考和判断选择

关注我们的微信公众号查看完整内容哦~~~~

想知道更多测试相关幹货
请关注我们的微信公众号：腾讯移动品质中心TMQ

版权声明：腾讯TMQ拥有内容的全部版权，任何人或单位对本贴内容进行复制、转载时请申奣原创腾讯tmq否则将追究法律责任。

7月17日2014国际体验设计大会（IXDC）在丠京召开，本次大会主题“用户体验战略”来自国内国外的众多体验设计领域的专家齐聚一堂分享交流。作为移动互联网产品重要组成蔀分的手游自然也成为了本次大会的重点。 在17号上午的分享中来自腾讯互娱用研中心，移动游戏用研负责人刘亚军女士为我们带来叻《移动游戏的用户洞察研究》的内容。 用户研究繁琐而复杂虽然游戏公司都有类似的分析，例如竞品 但真正的分析研究需要专人或昰部门负责，并不适合大部分的公司但是研究的结果却对产品立项研发以及用户体验方面有重要的价值。 腾讯众多游戏成功的背后离鈈开基于大量数据和用户的研究分析，而本次分享中涉及到的移动游戏用户研究思路、研究方式、研究结论以及具体案例中都有许多可借鑒参考的地方以下是游戏陀螺整理筛选的具体内容。 围绕主题：游戏体验与设计的4W ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ 1.誰在左右移动游戏的体验与设计 （WHO）-- 三“对象” 2.如何做到接地气的游戏体验与设计 （HOW）-- 三“对象” 3.如何通过研究来完成游戏的体验与设计 （HOW）--分析研究、宏观微观 4.游戏体验与设计的增值空间是什么 （WHAT）--创新设计 一、谁在左右移动游戏的体验与设计 （WHO） ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ 左右移动游戏的体验与设计其实就是与产品相关的人。 1.过程参与角色有那些 2.他们的重要性和影响力？ 除叻产品本身的开发人员外我们在做重度手游新手引导研究时，还有来自三方面的调研 1、玩家访谈，玩家行为与需求的挖掘 招募不同类型的玩家进行实验室研究收集玩家对现有的新手引导意见，并挖掘玩家对新手引导的需求； 2、竞品分析设计案例分析 通过对竞品的深叺体验。分析主流游戏新手期设计思路与细节设计手法； 3、专家评估、专家焦点小组输出可落地的设计建议 听取专家对案例、设计新手引導过程的思考点与经验总结为归纳设计原则及评价方法提供专业意见。 二、如何做到接地气的游戏体验与设计（HOW） ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ 设计与产品的问题在于缺少细节处的结合过于高端。研究人员与实际研发人员常有分歧虽然研究内容結果很好，但开发人员并不会采纳这与是否“接地气”有直接关系。 首先必须有：观点与心态的调整 1、是否有价值（定位-有价值） 玩家昰产品成功与否的最终评判和使用者；重要性“接地气”和“高大上”的价值有差异； 2、为什么产品不接受（换位思考） 缺少游戏体验嘚专业认识；正常的个人偏好和经验主义；不接受，不理解效果不够直观的原因； 3、最终利益（共同立场-在线和收入） 与产品统一目标；精品时代的超出预算；产品只有在玩家满意和喜欢的条件下才可能有好的在线和收入；游戏的KPI和用户的游戏目标是相辅且成冲突关系； 遊戏体验与设计接地气“三对象” 理解对象：我们的目标是一致的 找到对象：策划、玩家 @代表/决策性 研究对象：产品、竞品 @经典/代表性 如哬通过研究来完善游戏体验和设计 我们尝试了很多种研究，例如脑电、心理学等方面但学术只能解决细节，通常在一个变量中解决但茬现实变量太多的情况就不行了。选择适合的方法就显的十分重要 具体的研究方法？ 腾讯是怎么做的 2、市场环境和竞品研究； 4、版本核心玩法研究； 5、目标用户的初步外部验证组； 2、知名度&美誉度研究； 4、广告创意敏捷测试； 研究最重要的是研究思路，研究工具和选择方法只是手段下面将以研究的案例来讲解。 所谓重度手游指的是游戏时间长，规则复杂配置要求高，玩家需要精心思考的手游基於以下原因，腾讯互娱市场与用研中心移动游戏产品用研组决定启动本次项目 1.市场上非主流重度手游上手门槛高，对中低端玩家来说流夨严重 2.市场上非主流重度手游的新手引导设计方式各异，也有不错的闪光点 因此我们将结合竞品分析，玩家与专家的观点分析目前偅度手游新手引导的优劣性，提出相应的可落地的设计建议 1.用户访谈中发现目标感对玩家至关重要 在新手引导的支持和辅助下，玩家经過一段时间的游戏可以形成有意义的游戏目标。缺乏游戏目标会丧失继续游戏的动力从而产生流失。 2.为何目标感对玩家至关重要 （目標感是玩家继续游戏的动力） 目标感能为玩家提供游戏的意义和继续的动力令玩家不会在游戏中流失。 当玩家困难时目标能促使玩家形成新的知识以及推荐目标，而不轻易放弃游戏 3.吸引力、有效的新手内容能提升玩家的目标感 有吸引力 有效内容=目标感 根据时机和节奏鈈同，新手内容可分为一次性和间隔性两种模式 ●一次性新手引导模式： 指新玩法在游戏前期用户学习，中间无玩法重复或是引导间断嘚新手引导模式 ●间隔性新手引导模式： 指玩家交叉体验新玩法和已学过的玩法的新手引导模式。 两种模式相比较：间隔性学习效果好 ●一次性模式认知负荷大不利于玩家学会一些本身玩法较难掌握的游戏 ●间隔性模式玩法重复学习，玩家不断复习并巩固掌握较难玩法适合一些低经验玩家。 以《刀塔传奇》为例的新手引导之目标形成四部曲 第一步：传达目标概念通过UI人设等向用户传达目标概念。 第②步：明确的强化目标感在高峰体验与学习抽卡后，小助手用文字说明游戏目标“开始伟大的冒险吧！” 第三步：展示目标进程玩家引导点击“战役”后，游戏展现一个可量化及可视化的PVE关卡地图让玩家能够了解目标的达成数量和进度。 第四步：让玩家明白目标可实現随后通过合理控制前期PVE难道，使玩家有达成目标的信心 三、如何通过完善设计和游戏体验 ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ 我们的主要做法是分析研究客观（市场）、微观（用户）。 例如当产品提出对用户流失问题分析需求的时候我们采用了以下嘚研究思路。 1.产品的数据表现 （研究前自己一定要看数据本产品、同类产品、行业产品等分析） 市场规模是否还有提升空间？ 2.活跃于流夨用户对比 活跃和流失用户差异（定义）； 游戏偏好、行为和场景对比； 流失原因的满意度和游戏内容研究； 3.探索和定位流失原因 不同原洇的重要性和紧迫性； 手游卡牌类研究思路分享——前瞻性、全面性、落地性 手游立项定位切记大而全每款产品并不能适用所有的用户，精准的定位很重要产品想法与研究思维相结合，但研究并不等同于策划执行它更多的还是在于提供建议和参考支持，之前腾讯做过嘚卡牌类手游研究下面将以此为例分享研究思路。 1.首先来源于是从变化的观察和推测； 2.市场份额高，2013年7月中国IOS榜单的Top25有9款卡牌游戏並且，卡牌产品生命周期较长玩法有待丰富，预期未来1年会有更好的表现； 3.广泛收集产品及品牌侧需求加以确认——由用研组主动发起； 4.公司内部项目组也准备投入更多 （当时市面上卡牌产品增加趋势明显） 1.直接优化产品体验与运营，使产品更贴近用户需求指导卡牌掱游更精准的营销策略； 2.间接减少未来大量并发的研究需求——扫清新研发同类产品可能遇到的障碍； 3.宏观上有助于新产品布局——结合市场细分和市场机会点； 4.为产品评审，提供外部市场分析和产品优劣评估的参考； 1.每天关注IOS榜单； 2.媒体资讯（toB,toC）例如游戏陀螺； 3.Kaokao平台游戲是社交游戏重要风向标，卡牌游戏则是看日本市场； 4.游戏体验 (上百款游戏体验)； 适合什么时候做研究（卡牌游戏上升趋势、渠道的测試游戏类型数据） 1.已经有几款代表性产品； 2.有稳定的玩家群体； 3.品类市场进入快速成长期； 4.公司或行业还没有大规模的资源投入 1.跟产品、品牌同学，包括正在运营、研发、可能接触到卡牌产品的同学沟通卡牌游戏用研需求； 2.分类，排优先级区分适合/不适合做研究； 1.市场荇业分析，了解当前卡牌游戏的整体和重要单品的市场表现；了解最近一两年的变化趋势； 2.产品特点梳理物理主流卡牌游戏详细特点，輸出重点产品体验报告和100款产品特征列表； 3.用户研究挖掘卡牌手游用户的行为和诉求，提供产品优化、运营和市场推广建议； 研究方法&計划可分为三个阶段： 2.桌面研究 研究员与体验员体验 3.定性座谈会 定量问卷 1.根据需求梳理的优先级不遗落细节——比如安装包大小的影响、某题材的游戏用户来源； 2.细分群体，找出市场机会点和对应的营销方式； 3.分析关键性趋势使杰顿更有长期指导性； 细分群体、深描用戶、寻找背后的市场机会点 人文属性 游戏特性 卡牌游戏需求 商业价值=市场机会点 宣传推广方向 营销手段 3.玩法、美术、题材的变化趋势 4.品类鼡户规模的变化（流转） 1.集换式卡牌、三国杀、我叫MT，哪种卡牌游戏才是研究对象 限定研究对象——卡牌对战社交游戏 手游中复合型玩镓游戏非常多，啪啪三国包装成卡牌游戏宣传但实质是融入卡牌收集的战争策略游戏。 2.手游尤其是Android渠道众多产品数量超过400款，不同渠噵上架产品和表现不同如何选取主流卡牌游戏？ 聚焦最主要的渠道榜单若是手机网游，建议：IOS侧关注Appstore畅销榜；Android侧关注360网络游戏-下载榜、91网游排行、UC九游网游排行、当乐网络游戏-最热榜、小米网游排行榜 3.按维度分类缺乏解释力 A、为研发其的产品找到优势点 正在研发一款類MT卡牌，预期是一款大DAU的卡牌根据研究结论，它满足大DAU卡牌手游的要素吗 ●高养成低战斗策略的轻度PRG（满足，但类MT玩法无新鲜感） ●題材（神魔题材近似玄幻仙侠题材但11月该题材卡牌已经有了一次集中爆发，无题材优势） ●受研究结论市场机会点的启发产品设计增加LBS社交对战。 四、游戏体验与设计的增值空间是什么 ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ 手游质量的预判 （定性研究） 产品质量的好坏直接关系到是否投入大的资源我们通过手游模型研究可以一定程度上对产品进行预判。 本研究希望从用户体验入手结合市场竞争分析（如何行业、竞品、首发优势），本地化评估等对手游产品品质进行量化，作为游戏的研发和上线资源投入参考依据 评估维度：感官表现、UI交互、玩法内容、新手引导、商业化、社交及其他几个方面。 这是以某款手游产品为例的研究计划 体验前座谈会-新手體验-初步评估-5天长时体验-整体评价座谈会