在进行了迄今为止最大规模之一的科学研究可重复性调查之后,一组心理学研究人员报告了调查结果,它们来自一项重复最近100个发表的心理学研究的工作;他们报告说,尽管他们能成功地重复所有个案中的大部分原有的实验,但他们只能复制不到一半的原来的结果。文章的作者(他们属于“重复性计划:心理学”的一部分,他们的领导是Brian Nosek)强调说,无法重复并不一定表明原来的报告不正确,但他们说,他们的结果提出了证据,这就是重复研究结果是具有挑战性的,其中包括确认可重复性的预测因素及改善其的做法。促使Nosek 和同事从事这一合作项目的原因是鉴于在所有的科学学科中持续存在的结果是否具有可重复性的顾虑。他们设计了一个开放性研究,在该研究中多个心理学家小组从2008年出版的3个主要的心理学杂志中挑选核查结果可重复性的研究;他们接着开展研究,分析和总结数据并将他们的研究方法上传到一个公共网站供进一步的审查。在2011年11月至2014年12月间,世界各地270位特约作者完成了100项对多个不同设计研究的重复工作。
作者们说,要确定构成成功复制的因素颇具挑战性,因为复制可有不同形式,但Nosek和同事是通过5个互补性指标来确定这一点的。他们发现,复制成功的最可能的预测因子与开展研究的团队特征(如经验和专业知识)没有关系,而是与最初证据强度的变异有关(例如,最初的P值)。一种通用的惯例是将P<0.05视作具有显著的效果。Nosek和同事发现,最初研究中的P值如果非常接近0.05,它们得到重复的可能性要比最初P值接近零的可重复性小得多。这一小组的努力增加了对某些研究原来结果可靠性的信心,但在另外一些研究中则提示需要做更多的调查才能确立原有结果的有效性。作者们说,在一般情况下,令人惊讶的效果的可重复性较差,而那些重复性核查较难的效果的可重复性也较差。作者们邀请其他调查人员来研发另类指标以探索专业知识的作用及这个开放数据集的可重复性品质。
原文检索:Estimating the Reproducibility of Psychological Science
联系客服