最近, Nature发文讨论当下热议的话题--低质量的统计和重复性,邀请了六位统计学大牛提出了自己的建议。关于当前统计存在的问题以及如何改善,他们是怎么说的呢?
JEFF LEEK:改变人们的认知
要使用好统计,研究者们必须学习统计学家是如何分析和解读数据的,然后应用这些信息来防止认知错误。
在过去的十几年中,许多领域的数据分析已经从十几个数据集转变为数百万个数据集。针对稀少和难以获取的信息所开发的统计方法,被临时用在如今更大、更多样化和更复杂的数据集上。因此,在现在文献中充斥着过时的统计资料,错误的统计检验和错误的结果也就不足为奇了。用P值来判断结果是否具有显著性,只是诸多缺点中最明显的一个。
但是,我们并不能仅仅将原因怪罪到过量的数据和统计分析培训的缺乏上。拒绝使用P值作为统计指标也是不切实际的。毕竟,有人(例如编辑或基金)需要拍板做决定,有一个明确的标准是十分重要的。
这些问题的根本之处在于,我们对别人如何分析和处理信息过程知之甚少。一个例外是,我们清楚别人是如何分析图表的。实验表明,人们很难在饼图中比较角度,却可以通过柱状图中的相对长度和高度进行比较。因而,有时柱状图比饼图更易于人们理解实验数据。
我们需意识到,数据分析不是纯粹的计算和公式,而是一种人的行为。在这种情况下,依旧培训在数据贫乏时代下开发的统计方法,会使情况便的越来越糟。不过,这种框架也可以使我们发现实际操作中的问题。例如,如何在不丢失数据关键信息的情况下减少分析员需要作出的选择?如何帮助研究者在减少偏倚的情况下探索数据?
第一步要做的就是观察。人们现在在做什么?怎么报告的?我和我的同事们正在做下一步:在我们的在线课程中进行对照试验,看人们是如何解决具体的统计分析挑战的。
我们需要更多的观察性试验和随机对照试验,更多的关于人们如何收集、处理、分析、交流和使用数据的流行病学研究。然后,我们可以利用这些证据对研究人员进行培训和教育。这可能是我们不被廉价、丰富和嘈杂的数据所淹没,并增强信息处理的唯一希望。
BLAKELEY B. MCSHANE & ANDREW GELMAN:放弃统计学意义
在许多领域中,只有当统计具有显著意义时,才会考虑是否发布一个研究发现、进一步探索和制定政策。这个被称为“假设检验”的过程,促使研究者在他们的研究中探索了如此多的路径,以至于不管最终在论文中呈现的是什么,都是不具有代表性的数据。
更糟糕的是,假设检验的过程经常被认为是指任何数据都可以用来决定两种说法。要么是“有效应”的关系(例如治疗和结果之间),要么是“无效应”。事实上,统计并不是“非黑即白”的,这种错误会将“不确定”的 关系洗掉。任何研究,无论试验的设计和执行有多差,都可以得到有统计差异的结果。假设检验本来是为了用来避免使研究人员过度解读数据,现在却造成了相反的结果。
今年,有很多争论关于是否要加强统计意义的门槛来提高科研水平,超过150名研究人员进行了权衡。我们认为,提高P值的门槛并不会改善统计,相反,应该降低。我们的意思并不是完全禁止P值,而是将它与先前的知识结合,与机制的合理性结合,与实验的设计、数据的质量结合,与真实世界的效益结合,成为众多证据之一。
例如,2011年发表于著名心理学杂志上的一项声明认为,对美国国旗的一次曝光将提高共和党的支持率长达8个月的时间。我们认为,这一发现缺乏政治科学理论或民调数据的支持;研究结果让人难以置信;样本量较小,不具有代表性;且这些测量(如投票和政治意识形态)是有干扰的。尽管作者们坚持他们的发现,但我们认为仅看P值提供的信息是很少的。
统计显著性的阈值在有些情况下可能是适用的:1)当效应值较大并且在特定研究条件下变化不大时;2)当变量可以被准确测量时。这其实是当初假设检验和经典统计方法被开发出来的实验的特征。例如,20世纪的20-30年代研究肥料和作物产量的农业实验。到如今,从政策分析到生物医学等方面的实验,效应越来越小,实验取决于的条件苛刻,变量很难被测量。例如,在营养研究中,想要报告饮食选择和健康状况是一个很大的挑战。
开放科学实践,使科学家更难从繁杂的数据中得出过强的结论,这有益于科学。但是,并不能弥补实验本身的不足。真正的进步,需要使研究人员把预测变得更有能力探索理论,并且进行更精确的测量。有时,还需要人与人之间比较。
总之,最关键的步骤是要跳出以P值确定“效果”或“没有效果”的二元评判标准,使研究者接受不确定性和在不同情况下的变化。
图片来源:Nature by David Parkins
DAVID COLQUHOUN:承认假阳性风险的存在
为了将P值降到正确的位置,研究人员需要更好的方法来解释它们。其中重要的一点是,承认那些被标着“具有统计学差异”的结果可能是假阳性(false-positive),假阳性风险往往大于P值。
假阳性的风险取决于实验前假设的合理性--有真实效应的先验概率(the prior probability)。如果先验概率很低,比如10%,那么一个接近0.05的P值可能携带着76%的假阳性风险。如果想要将假阳性风险降低到5%,P值就会变成0.00045。
所以,为什么不报告假阳性风险,而是报告容易被人错误解读的P值呢?这个问题是由于研究人员通常无法知道先验概率。最好的解决办法是,指定为了达到5%的假阳性概率而需要的先验概率,以及P值和置信区间。另一种方法是假设先验概率为0.5,并计算观察到的P值的最小FPR。 (使用在线计算器可以轻松完成计算,参见http://fpr-calc.ucl.ac.uk.)
这是一种将熟悉的统计数据与贝叶斯定理相结合的策略,用一个实验的证据来更新先验概率。当然,这些计算的背后有一些假设。并且,没有一个自动的工具可以使研究者不需要精密的思考。
MICHÈLE B. NUIJTEN:分享数据分析计划和结果
比规定如何使分析数据更好的方法是,让研究者为他们的分析负责。一套严格的规则不会改善统计,因为有太多的情况需要解释,即使是一个看似简单的研究问题也会导致大量不同的分析。研究人员应该如何解释诸如性别或年龄这样的变量?哪些极端数据点应该被排除?在何时排除?过多的选择很容易把人带入误区。在大量的路径中,至少会有一条偶然导致“有差异的”发现。研究人员努力挖掘,也许能得到一个符合统计标准的结果,但也会导致假阳性的风险。
规划和开放可以帮助研究人员避免假阳性。一种方法是预先注册分析计划:研究者在看见数据前就把打算如何统计写下来。这避免了将研究者引入寻找“有差异”的路径,然后再解释为什么这样做是合理的。事先写好计划,研究者仍然可以积极采用各种分析方法,并了解结果是否取决于一个特定的变量或一组有限的选择。不过,研究者需要申明这些探索不是事先计划好的。下一步便是分享数据和分析的所有结果,包括算法和代码。这样,人们可以自己判断统计是否正确,找出错误并且发现其他的路径。
STEVEN N. GOODMAN:从内部改变统计学原则
数据统计学并非不堪一击,重要的是如何将其应用到科学研究上,更何况各个领域的应用也是不同的。不幸的是,统计中有些规则很难打破,即使他们导致错误的结论。统计学家,像是美国统计协会,打破传统,温和地警告我们不要滥用P值。但是,他们不能修复其他领域的传统文化。
在训练科学家使用定量方法时,我和其他同事总感到压力,因为我们需要教导同行标准的和期刊期待的方法,而不是告诉他们统计的问题。向年轻的科学家解释,为什么在P=0.1时也可以争取真正的发现或在P=0.01差异并不存在,并不能增强他们的专业视角,并且需要很长的时间。很多研究者只想掌握能使他们允许统计软件的知识就足够了,这可以使他们和领域中的其他人一样,快速发表论文。
规范,部分由方法模仿建立。在一篇上个月发表的预测自杀的文章中,作者们指出他们使用每个小组17个参与者的样本量是因为以前对自闭症患者的研究使用了这些数字。过往发表的研究并不是衡量样本量的真正方法,但是它确实建立了一个模型。正如Berwick在系统变化的报告中说,“文化将每一次都战胜规则、标准和控制策略”。不同的统计学原则决定着哪种结果才足以证明为一个重要发现。生物医学研究中一般使用2-sigma规则(P ≤ 0.05),物理至少需要3-sigma原则(P ≤ 0.003)。在临床研究中,通过一项小型随机试验来确定疗效的想法在几十年前就被放弃了。在心理学上,一个随机试验可以建立一个大胆的理论的观点在五年前还是规范。直到现在,重复一项心理学研究有时也会被视为是对原始研究者的冒犯。
没有一个单独的方法可以解决所有领域的不同问题。这项挑战必须得由投资者、期刊和无数分领域的领导者来承担。一旦开始改变,这个过程变会自我增强。科学家们会跟随模仿他们在发表物上看到的方法,同行评审会要求其他同行对他们的要求。
改革的时机已经成熟,“可重复性危机”已经显示了对正确设计和分析的忽视的代价。许多年轻的研究者正在寻求改变,因此领域中的带头人需要努力使用正确的方法培养下一代,重新培训现在的一代。统计学家也有作用,他们需要从内部改变实践规范。
图片来源:Nature by David Parkins
联系客服