为什么要收集数据?这是个问题吗?可能很多人认为这不是问题。在大部分情况下我也觉得不是问题,但有些时候确实是一个很大的问题,特别是没有数据思维、不喜欢量化的中国人。
每个单位乃至每个人收集数据都有其目的,但有些人做着做着就忘了,变成了为数据而数据。在企业中最常见的有假数据、伪数据、改数据、张冠李戴数据、死后数据、失真数据、形而上的数据等等,似乎体现出了用数据说话,其实是表面文章,忽悠客户同时也忽悠了自己,并且还口口声称六西格玛强调用数据说话,滑天下之大稽。
虽然六西格玛强调用数据说话,但并不是说你拿一堆数据出来就完了,还要记得收集数据的原因,学会运用恰当的方法从枯燥的数据中提取出有价值的信息,这些信息才是你真正想要的东西。数据不会自己说话,那些鼓吹大数据会自己说话的专家其实是瞎忽悠。如果你事先对数据分析的目的没有清晰的认识,再多的数据也是白搭。
更有甚者,有些项目为了好看,故意修改和编造一些数据,随意剔除一些看起来异常的数据,这些做法实在有违初衷,这样的项目做反而不如不做。当然有些数据收集的目的也并不纯粹,存在故意挑毛病的现象。
在收集相关素材的时候,发现了这样一个挺有意思的故事,特别想拿出来跟大家分享一下。
在英国有一个JohnBennetLawes爵士,他的父亲是个庄园主,就是Rothamsted的所有者。1822年,Lawes八岁那年他父亲去世了,家道衰落。他母亲将庄园里的房子租了出去以供他读书,先是伊顿公学,然后牛津。1834年,房客离去,他母亲又回到了庄园,正读大二的Lawes也退学回家帮母亲打理庄园。出于对科学的浓厚兴趣,他将一间卧室改装成实验室,尝试做了很多实验。
John Bennet Lawes爵士
1843年开始,Lawes与其助手,化学家JosephHenryGilbert一起开始了他与Lawes开始了一系列长期田间试验-这是世界上最早的长期试验,而且这其中的大部分试验一直延续到了今天!这些试验的目的是测量无机肥和有机肥对作物产量的影响,即所谓的“Classical FieldExperiments”。
这些试验的结果正日益显示出它独一无二难以估量的价值:气候的长期变化对作物生产的影响。这份耐心足以让我们由衷地敬佩,这不就是现在人们天天挂在嘴边的工匠精神吗?可惜说归说,做归做,很多人还是希望成为风口上的猪,可以借风飞舞。
但是他们的实验也遇到了一个很大的问题,积累了几十年的数据已经是“海量”数据了,加上农业田间试验固有的可变性,怎么分析这些数据成了非常棘手的问题,显然这需要合理的统计方法。
于是统计界的大神费歇尔适时出现了,正是在Rothamsted农业实验站,费歇尔面对积累了90年的数据,创造性地提出了很多统计方法,著名的方差分析、试验设计等等都诞生于此,这些方法已成了数理统计学的主流。
费歇尔
可想而知,如果没有明确的目标,这90年的数据可能早就不知去向了,那样的话,统计学的发展可能还要再滞后几十年。
注:关于Rothamsted农业实验站的内容部分来自翟保平先生的博客,有兴趣的可以查看这个链接:
http://blog.sciencenet.cn/home.php?mod=space&uid=235&do=blog&id=7785
那么数据收集的目的到底是什么呢?我的理解是获取可靠信息,然后在可靠信息的基础上做出恰当的决策。我认为没有所谓“正确的决策”,只有基于当时当地所获取信息的恰当决策。这就需要我们老老实实地收集真实的数据,并且运用恰当的分析方法从中提炼出可信的信息,这一点也说明了掌握统计学的重要性,否则你那一堆原始数据谁看呢?
对于数据收集来说,在我看来,大致分成这两类:
一类是事先已经建立模型,需要根据模型的需要来收集数据,如比较分析、回归分析、测量系统分析、控制图、试验设计等等。
另一类是事先没有模型,试图从原始数据中找出有用的信息。这通常是探索性数据分析(EDA)的范畴,现在流行的大数据等大致也属于这一类。六西格玛项目立项时的数据分析通常也属于这一类。当然这一类的分析需要不断的建立、验证和优化模型,最终获得满意的模型。
数据收集中需要注意的几个问题:
1
数据收集计划:在所有的六西格玛教材中都会提到要制定数据收集计划,但实际真正能够做到的却并不多。详细的数据计划能够让我们少走弯路,提高效率和控制成本。尤其是像DOE这样比较复杂的试验,更需要我们仔细地进行策划。
2
数据来源:这是非常常见的一个问题。我们经常能够看到项目中列出的数据没有交代时间、地点、方法、条件等必要的信息,有些数据表就几列数据,让人摸不着头脑,对数据的真实性更无法做出判断。建议在数据收集之前,制定完整的数据收集表格,这些表格中要包括时间、地点、测量工具、测量方法、测量条件、测量参数、测量人等等。
联系客服