用研的目的是为了获得准确的数据来指导或者解决我们在实际工作中出现的问题。为了达到这个目的,我们不妨借鉴一些心理学研究的方法来改进我们的研究设计,让我们的研究更加科学、准确、可信。心理学的实验设计分为两种,一种是真实验设计,一种是准实验设计。当然,真实验设计和准实验设计这两个名字是相对而言的,也就是说准实验设计的控制条件没有真实验设计那么严格。
心理学实验室研究中一个很重要的部分是研究人的心理过程,为了更好的研究心理过程,一个心理学实验的要尽量做到研究任务的物理属性尽量相同,而结果的不同仅仅是由于执行了不同的心理过程才产生的。例如下图的实验流程,被试在不同的实验试次中分布执行两个不同的任务,判断目标图片的语义(如山峰)或结构(开放性,闭合性,温度高低等)。 实验结果的不同完全是由于执行不同的任务所造成的,也就是说这两个不同的任务卷入的心理过程的差异造成了结果的差异。当然一个精密的心理学实验不会仅仅是这么简单,我们单拿出一点来举个例子方便大家理解。
图1 一个心理学实验流程示意图
但是在我们的现实工作中,我们需要的研究设计应该是恰恰相反的,即保证用户执行的是相同的心理过程,结果的不同是由于物理属性的不同而引起的。例如,在交互设计没变的基础上的网站改版所引起的点击量差异等,就属于这类。
1.随机化
实验研究中非常重要的一点就是随机化,包括被试样本随机化,刺激试次随机化等。我们的研究对象是人,也没有两个人是完全一样的,所以为了平衡实验组间的条件,我们尽量的采取随机化原则,来避免因为个体差异对研究结果带来的影响,但是这个原则不适用于对不同用户群体的差异性研究(请参考随机区组实验设计);实验试次随机化是为了消除定式对研究结果产生的影响。心理学实验最理想的结果是任务试次完全随机,实验被试完全随机。但是这种情况只能无限的接近,所以如果我们的研究条件不能达到随机化,那就尽量匹配各个任务组和被试组的条件。
2.控制组
或者叫做对照组,做基线、做比较、结果做运算,好用又方便。
图2 加减乘除
3.增加前后测而不是简单的事后比较
说到结果做运算,就不得不提一下前测和后测,比仅仅只做事后比较好处多,实验组和控制组后测成绩分别减去各自前测成绩,得到的结果可以消除一定的历史和成熟的作用,使得到的结果更准确。好处就是原来显著的可能不显著了,原来显著的可能显著了,我可没教你作弊,我只是说这样得到的结果可能更准确。
4.迫选法
图3 A、B、C、D…K,选一个你觉得好的方案
记得我参观过的一项研究,研究者要被试在林林总总不下10个设计方案中选出一个被试最喜欢的,结果怎么样?用户完全选不过来了,常常是看过了前面的,忘记后面的。这个时候引入迫选法比较适用。每次呈现2个方案,让用户案选出一个最喜欢的,然后继续和其他方案比较。
5.重视预实验,研究者不要想当然
上一个例子里,研究者给被试看10几个方案,让被试全看一遍,再做出的选择,其实这样得到的结果并不是研究想要的结果。因为这样做出的选择只是这些方案中用户比较偏爱的,而不是用户心目中真正喜欢的产品,相当于矬子里拔大个儿一样。所以在正式研究之前,研究者不妨先做几个预实验,很多时候,研究设计中存在的问题就可以在这个阶段中暴露出来的。比如我曾经参与的一个实验,比较的是朋友、自己、陌生人的面孔与语义概念的批评,以此研究自我概念,其中一个水平是当面孔水平旋转角度达到150°以上时,自我条件下的结果与其他面孔条件下的结果差异就不明显了,为什么呢?因为这个角度下的自我面孔脱离了正常人的视角范围,我们很少能看到自己的后脑勺。那如果我们在预实验中发现了这个问题,在正式实验中改进,就不用费心费力又费钱做这组实验了。所以正式实验之前最好进行一下预实验,并改进从中发现的问题,可以有效的节约人力物力成本。特别是研究者不要想当然的认为自己经验丰富,实验设计严密,就忽略预实验的作用,甚至违反了实验设计所必备的一些限制条件,要时刻谨记并遵守(切记,切记,这是前人的血泪总结,可以省掉我们很多不必要的麻烦)比如样本数量之类,小样本虽然不一定不准确,但是带来的风险也高,所以我建议研究的样本数量一定要足够多。
6.慎用统计方法
这个问题很难一句两句说清,不过图表总是比数字更容易理解,简单的统计方法能说明的问题,就不要选择复杂的统计方法来做,明确每种统计方法的适用条件。想起过去看过的一句话:Statistics never lie, but liars use statistics. 很说明问题。接下来我会写一些结合具体工作实例的文章,另外推荐给大家一本统计学入门读物:机械工业出版社出版的《统计学原理学习指南与习题集》,边学边做;再推荐果壳网的一篇文章《一秒钟看穿统计陷阱》,爱科学,爱生活!
图4 统计学原理学习指南与习题集
本文作者:admin 转载请注明来自:携程设计委员会
还是把心思花在工作上,我看完觉得,自己的差距貌似很大
实验设计的核心思想,我认为主要是控制,不管是用随机、平衡或抵消,主要是控制无关的变量,操纵你想要的变量,得到研究的结果。
Get First? 😛
怎么会没人来类?
看到留言威武,我想我是很威武啊
兄弟,这么兴奋做啥,我看到有回复那才叫兴奋呢!
哥啊,想看看你们这个评论嵌套是什么样儿的,呵呵,不过文章都还没来得急看完唉…就睡着了,今天来补看的
同学们,看到这里我想自插双目啊,一口鲜血呀!
P.S.潘韬同学这个嵌套我也不知道怎么弄的,你问问其他高人吧
🙁 没必要这样吧,哈哈 😮
这个wordpress上的留言框都是自带的吧。
是的,wp自带
好像还是真的是第一个唉 😮
来过,很有技术性的回家哦.
具体举一个研究案例吧,可以说说实验设计的好处和坏处,和其他方式做对比,从产品到在互联网上使用的好处。这样空对空,实验设计的思想不够深入呀
感谢关注,放心好啦,我会在后续的文章中写到。
心理学的实验设计方法,更多的是在实验室完成。要想完成一个精密的实验设计,所耗的时间和成本都是比较大的,这在实际工作上面,研究成本的控制,应该是影响信度和效度的一个额外变量吧。。
是的,但是可以做到最大限度的平衡。
实验设计的最高境界就是让用户不感觉到这是个实验,这是最重要的。
从实验到实践,除了从实验中发现问题,更重要的是对这些问题进行论证、确认,因为用户撒谎了自己还不知道
如果每一个用户都感觉到参与的实验,这也算一个匹配了的额外变量
很有技术的思路,很棒!
😕 刚入门,看看怎么弄啊,多逛逛多看看多学学先啊。
我觉得楼上说的没错,多花点时间做自己喜欢的事情,浩兄就在这公司工作啊!
以后还是把自己份内的SEO项目做好,亲大家来指点先。
设计实验这工作需要反复推敲及实践,我觉得在这方面需要去加强。
你们就是这样对待人家的博客。