用「下意识」的表现,规避虚假作答的风险

文:侯玉迪
来源:心理测验与评估(ID:gh_391183cc6a43)

在工作场合,HR 等主管人员经常会给员工发放自陈量表,以了解员工的情况,但用自陈量表施测难免会遇到不认真作答乃至虚假作答的问题,这往往是因为:

1. 量表冗长,受测者在测验过程中无聊、疲劳缺乏动力

2. 有求职者或员工刻意「装好」,以在员工选拔或评估上获得高分数;

那缩短作答的时间,让作答者来不及多加思考如何作假,会不会一举两得,同时解决这两个问题呢?

研究者基于这个思路,设计了快速反应测量(rapid response measurement,RRM)这一测评新技术。

什么是 RRM

与 Likert 式自陈量表不同,RRM 作为一种新型测量方法,施测时会在电脑屏幕上向受测者呈现刺激,一次一个,快速且连续,限定作答时长

当受测者对上一个刺激给出反应后,系统会立即呈现下一个刺激,如果反应超过2.5秒,屏幕上会出现警告并直接进入下一题

受测者通过按键对刺激进行反应,之后下一个刺激立即出现,为了顺利适应此过程,受测者首先要接受培训,学会将反应与键盘上的按键联系起来。

在评估期间,RRM会记录:

 

1. 所呈现的刺激(例如,人格形容词),它要么是积极的,要么是消极的


2. 受测者的反应(例如,“像我”或“不像我”)


3. 反应速度(即从题目出现到受测者作答中间的反应时)

RRM 在工作场合的应用

Adam 等人在 2020 年发表的一篇文章研究了 RRM 在人格测量中的应用,按顺序呈现的刺激是个性形容词,受测者需要判断“像我”(与键盘上的i键对应)或“不像我”(与e键对应)。

本研究的受测者包括四个独立样本。

样本 1 由美国东南部一所大型大学的 73 名本科生组成。

受测者首先完成了 Likert 类型的大五人格量表(IPIP),这里每个维度有 20 题,共 100 道题目。

接着完成 RRM 类型的大五人格测验(B5-RRM),这里每个维度有 100 题,即100个形容词。

这100个形容词是由16-20个不同的形容词不断重复构成的,整个测验共 500 道题目

即使题目这么多,整个 RRM 测验也只需要 7-8 分钟就能完成。

其余 3 个样本分别来自 MTurk 、某大学以及某公司,让各样本的受测者完成大五人格自评,大五人格 RRM(B5-RRM),社会期望量表、迟到旷工、错过deadline 等情况的调查、facebook 好友数,工作个人特质 RRM(W-RRM),职场大五人格等测评。



RRM 的可信性与可靠性

结果显示,B5-RRM 在所有的样本当中都表现出了较高的可靠性,克伦巴赫 α 系数均高于 0.88,在样本 2 的B5-RRM中,虽然仅包含 70 个形容词(少于其他样本中的形容词量),但测量的信度仍然较高;W-RRM的信度总体上也足够高。


在效度方面,B5-RRM 的聚合效度与区分效度是可接受的,B5-RRM 和 IPIP 中相同人格维度的两两相关都均显著,不同人格维度的两两相关值都较低。

W-RRM 的聚合效度与区分效度也是可接受的,但其中的自信心量表得分与 WPB5 各维度的得分都有显著相关关系,表现出最小的区分效度。

 

效度验证的另一个重要方面是效标效度,研究者使用迟到旷工、错过 deadline 的次数和 facebook 好友数作为检验 B5-RRM 的效标,结果发现 B5-RRM 不同维度与效标均显著相关。

 

W-RRM 的测量结果也几乎与所有效标都存在显著相关,支持了 W-RRM 的有效性。

 

最后,研究者对真实作答组和虚假作答组在 IPIP 和 B5-RRM 上的得分做了配对样本 t 检验,以确定受测者在 B5-RRM 上的作假是否比自陈的 IPIP 少。

结果发现对于人格的五个维度,t 检验都是显著的(p<0.01),说明 IPIP 上的作假明显多于 B5-RRM


对于反应时,除尽责性外,其他维度均无显著差异。尽责性维度的作答反应时存在组间差异,真实作答组的反应时间显著高于虚假作答组

总结

总得来看,Adam 等人的研究初步证明了 RRM 这种新方法的有效性。

研究者们认为,RRM 能有效评估大五人格和与工作场所相关的人格特质,B5-RRM 与 W-RRM 的信度和效度都达到了期望的水平,相比 Likert 型的 IPIP 量表,B5-RRM 可以更好的防止作假。

虽然目前只在人格测量方面机进行了尝试,但 RRM 可以减少测试时间以及减少作假的这些优势可能会引起许多不同领域研究人员的兴趣。

未来的工作需要进一步评估RRM与其他类型量表结合的有效性,以及在不同情境下是否均有效。

此外,目前还不清楚练习或其他作假策略对RRM的影响,例如,受测者在熟悉了此类评估后,是否可能会更轻易地装好,这需要更多后续研究的解答。

—END—

作者简介:侯玉迪。本文转载自公众号心理测验与评估(ID:gh_391183cc6a43),我们是北京师范大学心理学部,PTA心理测验与评估实验室关注心理测验与评估的最新进展尤其感兴趣基于游戏、大数据和智能穿戴设备的心理测评感谢您的关注,期待您的加入

责任编辑:小鲸鱼 木沄

You May Also Like

About the Author: 成长心理专家