正态分布的前世今生(七)

发表于 2012年10月27号由 rickjin

(七)正态魅影

Everyone believes in it: experimentalists believing that it is a
mathematical theorem, mathematicians believing that it is an empirical fact.
—- Henri Poincare

f(x)=12π??√σe?(x?μ)22σ2

E.T. Jaynes 在《Probability Theory, the Logic of Science》提出了两个问题:

为什么正态分布被如此广泛的使用？
为什么正态分布在实践使用中非常的成功？

E.T. Jaynes 指出，正态分布在实践中成功的被广泛应用，更多的是因为正态分布在数学方面的具有多方面的稳定性质，这些性质包括：

两个正态分布密度的乘积还是正态分布
两个正态分布密度的卷积还是正态分布，也就是两个正态分布的和还是正态分布
正态分布的傅立叶变换还是正态分布
中心极限定理保证了多个随机变量的求和效应将导致正态分布
正态分布和其它具有相同均值、方差的概率分布相比，具有最大熵

前三个性质说明了正态分布一旦形成,就容易保持该形态的稳定， Landon 对于正态分布的推导也表明了，正态分布可以吞噬较小的干扰而继续保持形态稳定。后两个性质则说明，其它的概率分布在各种的操作之下容易越来越靠近正态分布。正态分布具有最大熵的性质，所以任何一个对指定概率分布的操作，如果该操作保持方差的大小，却减少已知的知识，则该操作不可避免的增加概率分布的信息熵，这将导致概率分布向正态分布靠近。

正由于正态分布多种的稳定性质，使得它像一个黑洞一样处于一个中心的位置，其它的概率分布形式在各种操作之下都逐渐向正态分布靠拢，Jaynes 把它描述为概率分布中重力现象(gravitating phenomenon)。

我们在实践中为何总是选择使用正态分布呢，正态分布在自然界中的频繁出现只是原因之一。Jaynes 认为还有一个重要的原因是正态分布的最大熵性质。在很多时候我们其实没有任何的知识知道数据的真实分布是什么，但是一个分布的均值和方差往往是相对稳定的。因此我们能从数据中获取到的比较好的知识就是均值和方差，除此之外没有其它更加有用的信息量。因此按照最大熵的原理，我们应该选择在给定的知识的限制下，选择熵最大的概率分布，而这就恰好是正态分布。即便数据的真实分布不是正态分布，由于我们对真实分布一无所知，如果数据不能有效提供除了均值和方差之外的更多的知识，那这时候正态分布就是最佳的选择。

当然正态分布还有更多令人着迷的数学性质，我们可以欣赏一下:

二项分布 B(n,p) 在 n很大逼近正态分布 N(np,np(1?p))
泊松分布 Poisson(λ) 在 λ 较大时逼近正态分布 N(λ,λ)
χ2(n)在 n很大的时候接近正态分布 N(n,2n)
t分布在 n 很大时接近标准正态分布 N(0,1)
正态分布的共轭分布还是正态分布
几乎所有的极大似然估计在样本量n增大的时候都趋近于正态分布
Cramer 分解定理(之前介绍过)：如果 X,Y 是独立的随机变量，且 S=X+Y 是正态分布，那么 X,Y 也是正态分布
如果 X,Y 独立且满足正态分布N(μ,σ2), 那么 X+Y, X?Y 独立且同分布，而正态分布是唯一满足这一性质的概率分布
对于两个正态分布X,Y, 如果X,Y 不相关则意味着X,Y独立，而正态分布是唯一满足这一性质的概率分布

本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。