统计学在科学研究中占有很重要的地位,机器学习中的很多内容也都是以统计学作为基础的,为了更好的理解一些看起来虚无缥缈的统计学概念,我也查阅了很多资料,但是大多数讲的并不那么通俗易懂,直到看到了“马同学高等数学”对概率统计的概念的描述,感觉非常通俗易懂。为了方便以后复习查看有关统计学的概念,将马同学的讲解的内容在这里弄成了一个统计学概念专题。
首先声明,此篇的内容是来自"马同学高等数学"微信公众号的内容。
目录
阿瑟·健力士公司(Arthur Guinness Son Co.)是一家由阿瑟·健力士(Arthur Guinness)于1759年在爱尔兰都柏林建立的一家酿酒公司:
1951年11月10日,健力士酒厂的董事休·比佛爵士(Sir Hugh Beaver)在爱尔兰韦克斯福德郡打猎时,因为没打中金鸻,于是和同行们争论哪种鸟飞得最快,彼此争论不休。由于当时的参考资料并不足以回答这个问题,这促使比弗想出版一本记载世界之最的书,这就是后来的《吉尼斯世界纪录大全》。
还有一个让健力士公司在历史留名的,就是他的员工威廉·希利·戈斯特(1876-1937):
在健力士公司,戈斯特提出了t检验以降低啤酒质量监控的成本,但健力士酒厂为了保护公司的商业机密和智慧财产,明文禁止员工发表文章。戈斯特并没有因为这项规定而放弃他的学术研究发表,他在《生物统计期刊》以“学生”(The Student)为笔名,发表了关于t检验的文章,所以t检验又称为“学生t检验”。直到1937年,戈斯特因心脏病去世之前,健力士酒厂一直不知道戈斯特从事统计研究工作,并以“学生”笔名发表研究成果。许多统计研究者要和戈斯特见面,都必须像间谍电影般地秘密安排见面地点和时间。现在位于都柏林的健力士专卖店中有一个戈斯特的纪念碑,上面写著“化学家、统计学家威廉·希利·戈斯特,首席酿酒师,学生t检验”:
啤酒,主要原料是大麦,啤酒厂肯定是希望尽力提高亩产。比如,健力士公司有下面两块麦田:
左边的麦田采用传统A工艺进行种植,平均每株大麦可以结100粒穗子。而右边的麦田采用改进过的B工艺种植,健力士公司想知道“B工艺是否提高了产量”。为了节约成本、减小损耗,抠门的健力士公司从B工艺的麦田中采样了5株大麦,样本均值为120粒穗子。然后把难题抛给了戈斯特。似乎直观看来产量提高了,毕竟均值增加了20%,可是戈斯特想得更多一些。
戈斯特提出一个假设检验:
假设:B工艺没有提高产量,即AB下的麦穗都是同一个分布
检验:看看在此假设下,
已知的数据是,A工艺下的单株麦穗的个数服从
而B工艺下的麦田的样本均值
标准差越大,说明数据越分散,那么曲线的跨度就越大,曲线显得更加‘矮胖’;反之标准差越小,说明数据越集中,跨度越小,曲线显得更加‘高瘦’。
X如果服从正态分布
由此可见,
而如果X服从的是跨度更大的正态分布,采样五个点使其
这样的正态分布下,
因为A工艺的
所以,戈斯特认为应该综合考虑样本均值
该统计量越大说明AB工艺导致的差别越大,越有可能说明“B工艺提高了产量”。
对于t值:
其中
而t值,实际上对应的就是横坐标的值,比如说t值等于4:
t=4之后的曲线下面积其实就是P值:
所以,我们知道t值之后,就可以根据
举个例子,比如本文中的AB工艺下的数据为:
计算出来:
服从
如果我们要求 5% 的显著水平的话(下两篇讲解P值和置信区间),那么就可以拒绝“B工艺没有提高产量”这个假设了,也就是说,B工艺使得产量提高了。
如何理解t检验、t分布、t值 https://mp.weixin.qq.com/s/SX-Pv8R_0s7adkNxdP_uvw
联系客服