众测模式下众测人员管理研究
文章来源: | 发布时间:2020-03-19 | 【打印】 【关闭】
首先,众测模式对人才数量的需求极大,测试人员规模直接影响平台承接项目的能力和产出的质量,平台需尽量多的发掘潜在的测试人才。
其次,众测具有非契约性,测试人员与平台、需求企业不存在雇佣关系,对平台的依赖性不足、流动性大,平台需要留住优质人才进一步培养形成良性循环。
第三,人员评价是企业人力资源管理的重要组成,众测由于其网络性很难实现企业形式的硬性人员评价指标,平台需要发挥自身优势收集数据,总结分析适合的、易获取的、可量化的指标来评价测试人员。
第四,众测项目如何选择适合的人员和规模参与适合的项目,研究测试人员推荐方法能够有效提升项目测试质量和效率。
最后,众测带来人才效益的同时也产生诸多管理风险,例如知识产权问题、组织管理问题、供需双方信息不对称等等,处理不当可能会严重影响整个众测生态系统。
基于上述众测面临的问题,本文从众测人员的招募、保留及发展、人员评价、人员推荐和人员管理风险五个方面研究和探讨众测模式下人员管理的方式。

大众参与众测的动机
思考如何吸引测试人员,首先考虑大众参与众测的动机是什么,总结归纳为以下三点[2]:
酬金。获得酬金是大部分人参与众测的原因。
自我价值体现。在社会群体中获得认同,实现自我价值,获得满足感和成就感。
获得新知。平台提供了一个大型技术交流场所,增强自身技术能力、拓展知识面也是大众愿意参与众测的动机之一。
吸引更多的潜在用户
测试人员是众测平台的重要资源,测试人员的规模和质量直接影响测试平台承接业务的能力,平台扩大测试规模要以潜在的测试人员为目标。
准入门槛低。潜在的非专业测试群体规模要比专业从业者多得多,降低参与众测的条件有利于吸引更多潜在用户。
简单易懂的教程。平台为新用户提供操作性强的新手指南,让新用户在最短的时间里赚到第一桶金,激励新用户的参与热情。
完善的保障机制。平台运作规范,测试人员付出的劳动能够切实的得到等价的回报,疑问和投诉能都得到快速的响应和处理结果。
工作模式选择
众测项目按工作场地可分为驻场形式和网络形式。
驻场形式要求测试人员在规定时间到客户指地点参与测试,地域和工作时间的要求比较严苛,要求测试人员根据客户的要求调整工作时间和地点;网络形式则没有测试地点和时间限制,测试人员视实际情况选择网络测试或者本地测试。
众测薪资结算方式一般为日薪制和项目制,由需求方根据项目实际情况或与参与项目的测试人员交流而定。
众测人员保留和发展
传帮带模式
从传统测试到众包测试模式上的改变需要一定时间适应,让有经验的测试人员传带新手快速度过适应期,更快的产出成果,这种模式可以帮助平台不断发展新用户。
社团工会
众测人员对服务平台的归属感不强,缺乏团队意识,容易造成人员流失。平台以社团或工会的形式鼓励测试人员人为的创造类似于现场工作的“团队”形式,个人的工作成就计入团队积分,平台定期给成绩卓越的个人和集体额外的奖励,激励众测人员在平台投入更多的精力。
社区论坛
现存的各大众测平台都有各自的交流论坛,论坛设置各种区域,公告、社区通讯、群组讨论、经验分享等等,供需双方能够快速高效的交换信息,论坛的活跃程度很大程度反映平台的活跃度。
专业培训
获得新知自我提升是测试人员参与众测的主要动机之一。平台挖掘潜在用户的同时,也需要培养现有的人才。平台可以发动社区内有经验的测试工程师定期开设讲座或者学习交流会,也可与专业培训机构合作提供与众测服务相符的培训课程,一方面切实提升了平台测试员的业务水平,另一方面测试人员在该平台可以获得更高的评价,进一步增加用户粘性。
组织竞赛
竞赛是调动测试人员动积极性和参与度的非常有效的方法。竞赛的优胜者能够获得荣誉和实质的奖励,再者竞赛的成果也是平台能力的体现,提升平台的知名度从而吸引更多的用户参与。
激励机制
激励机制是平台留住人才重要方式,让测试人员通过参与众测获得经济上精神上的满足感和成就感。激励方式一般分为以下三种:价值激励、情感激励和平台激励。
价值激励。可以指测试人员在平台获得的累计积分、等级称号、身份勋章等可以强化身份的特征,或某些特权和优惠等,能够代表一定实际价值的东西。
情感激励。(1)互动激励。通过让测试人员获得用户反馈来获得激励。(2)挑战激励。设置不同维度和种类的排行榜,以游戏形式刺激测试人员参与打榜活动。
平台激励。表现为平台资源的倾斜。给予符合条件的团队和个人更多的曝光度、 提供更多的工作推荐,在竞争中拥有更高的优先级等平台资源辅助。
惩罚机制
有奖励就有惩罚,一般针对测试人员“诚信”相关的行为,当测试人员有拖欠任务进度、恶意评价、被举报欺诈等行为时,平台可以给予一定的惩罚,降低获得酬金的比例,取消用户的“成就”降低用户的评价等[3]。
众测人员的评价机制
人员评价指标
众测因其网络性和非契约性使得众测无法移植传统企业的人工评价指标,众测需要结合平台数据优势,选择适合的、容易获取的且易于量化的评价指标[4]。

(1)活跃程度
反映测试人员参与众测的积极程度,测试人员参与项目的数量和频率能够一定程度反映他对众测工作的积极性和工作效率。测试人员的活跃程度可以从几个方面参考。
响应速度:测试人员从项目发布到接收任务的时间。
响应率:测试人员受到邀请后接收任务的比例。
参与任务的总数:测试人员参与众测项目的总数。
参与任务的月均数量:测试人员参与众测项目的月均数量。
参与任务类型数:测试人员参与众测项目的类型数。测试人员参与的类型多寡能否反映他参与任务的范围。
(2)测试能力
测试能力是测试人员的重要特征,对于众测人员能力特征的评估,应综合考虑所能发现缺陷的级别,发现缺陷的数量以及缺陷发现率等指标。在众测中,不同级别的缺陷其重要性及影响各不相同,越能发现重要的高级别缺陷越能反映该众测人员的测试水平。同时,一名高水平的众测人员应该能发现测试任务中的绝大部分缺陷。
测试结果接收率:测试人员测试结果被认可占总测试任务数的比例。
加权缺陷检出数:由检出缺陷的级别和客户评价作为权值,统计测试人员检测任务缺陷的数量。
加权新缺陷检出率:由检出缺陷的级别和客户评价作为权值,统计测试人员检测新缺陷的数量。
缺陷检出率:某项任务测试人员检出缺陷占所有缺陷的比例。
(3)个人信誉
测试人员在众测平台的个人诚信度是对其评价的另一重要指标。因为测试人员并未与众包测试平台及客户签订严格的劳动协议,测试人员可能因为各类原因无法完成测试任务,甚至会恶意欺诈,这就可能对测试质量造成极其严重的影响。
实名认证:有效的身份认证登记。
任务完成率:测试人员完成的测试任务占所有参与任务的比例。
客户满意度:发包企业对测试人员的工作评价。
其它参考因素
评价测试人员不仅仅需要参考静态的指标参数,还需要考虑长期的随时间变化的动态的因素。
用户粘度:“粘度”反映测试人员在平台参与测试的长期行为。用户参与测试任务活跃度变化,登陆平台时长的变化,是否积极参与平台论坛讨论,参与线上线下活动等等。
学习曲线:测试人员的测试能力随着参与项目的增加会有所增长,评价测试人员测试能力的时候可以考虑引入学习曲线,对不同测试领域不同测试项目建模,结合测试人员完成某一类型测试项目的历史测试评价,当测试人员再次执行同一领域同种测试项目时给予一定的预期评价。
遗忘曲线:和学习曲线相反,若长期不从事某领域工作,应该考虑测试人员对该领域的工作质量是否应该有所衰减,并且随着时间的增长衰减的速度也会更快[5]。考虑到个体差异,衰减的程度应该因人而异,设定衰减系数,根据下一次测试评价和预测值的差距调整衰减系数使评价更贴近实际情况。
众测人员的推荐
研究人员对测试人员任务推荐做了不少的尝试,有以测试人员兴趣为主的偏好模型[6][7];从测试人员可信度的角度进行评价,集成主客观可信度从而得到可信度计算模型[8];还有以测试者技术能力和非技术能力匹配的综合算法等等[9]。
综合几个推荐算法的实验结果,算法参考的因素面越广,相对而言比较客观也越接近众测平台的真实数据。其中基于测试人员行为和测试结果的分析是主要的研究方向:
(1)缺陷发现数量(发现问题数、参与任务数)
(2)缺陷发现质量(问题真假度、问题描述规范度、问题发现时效性、问题发现独特性)
(3)缺陷发现主题(提交报告的主题分布、发现缺陷的主题分布)
(4)历史任务类型(参与任务类型、发现缺陷所属的任务类型)
众测环境下,人员能力和经验存在很大差异,在选择一组测试人员参与项目时,不仅需要考虑个体的经验和能力,还要分析个体与其他测试者之间的差异,力求最大程度做到能力互补,降低缺陷重复率,以最小的人力成本获得最大的测试收益[10]。
众测人员管理风险
众测虽然可以充分挖掘生产力,但相较于企业员工测试人员有更多的不确定性,这些可变因素可能会给众测项目带来不小的风险,总结可分为能力风险、组织管理风险、知识产权风险和信息风险[11]。

能力风险
网络的虚构性导致供需双方缺乏信任。需求方对测试人员评估能力不足使得经过筛选的人可能没有足够能力完成任务。需求方损失项目进程,测试方损失时间、精力、酬金,同时对平台的声誉也会产生不良影响。
众测中的悬赏模式可能会导致过度竞争,形成柠檬市场效应。需求方只为完成度最好的测试支付酬金,最大程度的保证了需求方的利益,但是对于测试参与者会面临过度竞争的局面。
组织管理风险
传统企业有固定的内部组织架构,众测的加入会使原本清晰的架构模糊化,组织结构的改变、管理模式的改变,项目上更复杂的质量、进度、成本管理,这些不确定性都会产生风险。
知识产权风险
众测是大众参与合作项目开放创新模式,测试人员参与众测项目时,可能会把未发布、未上市的产品信息或者关键技术,甚至是专利泄露出去,同时众测并没有契约或合同法去明确规定哪些事被指明为产权的信息[12]。一旦企业的关键技术外泄被竞争者利用,后果可能是毁灭性的。
信息风险
众测项目供需双方通过平台交流,就会出现信息不对称的情况。接包方利用平台漏洞,伪造资质、篡改数据欺骗需求发包方获取任务资格;同样的发包方也有可能采取不良手段规避支出产品佣金。
总结
互联网技术发展诞生的众测模式下,带来新机遇的同时也产生新的挑战,引入新的风险。众测的非契约特点下人员的管理,面临着许多的不确定因素,完善的人员保障体系能够更好的保障供需双方的利益,维护众测模式生态的平稳健康的发展,探索切实有效的众测管理模式需要更多的实践与模式探索。
感谢国家重点研发计划2018YFB1403400支持,本文由上海市计算机软件评测重点实验室的乐琼华、陈敏刚撰写。
参考文献
[1]任亮. “众测”在国内的应用现状、标准和发展趋势[J]. 金融电子化, 2017:67.
[2]张利斌, 钟复平, 涂慧. 众包问题研究综述[J]. 科技进步与对策, 2012(06):160-166.
[3]芮兰兰, 张攀, 黄豪球, et al. 一种面向众包的基于信誉值的激励机制%Reputation-based Incentive Mechanisms in Crowdsourcing[J]. 电子与信息学报, 2016, 038(007):1808-1815.
[4]刘莹,张涛,李坤,李楠.移动应用众包测试人员评价模型[J].计算机应用,2017,37(12):3569-3573+3596.
[5]安刚,张涛,成静.基于行为分析的移动应用众包测试人员画像方法研究[J].西北工业大学学报,2017,35(06):1083-1088.
[6]Ambati V , Vogel S , Carbonell J G . Towards Task Recommendation in Micro-Task Markets[C]// Human Computation, Papers from the 2011 AAAI Workshop, San Francisco, California, USA, August 8, 2011. AAAI Press, 2011.
[7]Yuen M C , King I , Leung K S . TaskRec: Probabilistic Matrix Factorization in Task Recommendation in Crowdsourcing Systems[C]// International Conference on Neural Information Processing. Springer, Berlin, Heidelberg, 2012.
[8]肖江辉. 基于可信度的众包协同测试及其算法实现[D]. 2015.
[9]李勇军, 郭基凤, 缑西梅. 软件“众包”任务分配方法%Software Task Allocation Method in Crowdsourcing[J]. 计算机系统应用, 2015, 000(002):1-6.
[10]崔强, 王俊杰, 谢淼, et al. 众测中的工作者选择方法研究[J]. 软件学报, 2018, 29(12):58-74.
[11]陆丹.互联网时代下众包风险的识别与规避[J].物流工程与管理,2013,35(04):118-120+126.
[12]鲁利民.“众包”模式下的人才管理[J].企业技术开发,2011,30(04):60-61.