如何处理偏态数据？

这是笔试/面试题系列的第2篇文章

在了解何为偏态数据前，要先从正态数据说起。

正态分布

正态分布是自然界中广泛存在的，我们都知道它是两头低，中间高，整个形态呈现对称钟形的一个分布，之所以叫正态分布，是因为在大量连续数据测量的情况下，我们比较希望看到这种状态，一个标准的正态分布是u（均值）=0，σ（标准差）=1。

从下图可以看出，横坐标代表随机变量X的一个取值，在均值（u=0）附近概率密度最大，越偏离均值，概率密度减小，不在(u-3σ,u+3σ)范围内的数据就属于统计学意义上的异常值了。

偏态分布

但是现实生活中总是会存在不是正态分布的情况，非正态分布，那就是偏态分布了，有两种，左偏（负偏态）和右偏（正偏态），可以用偏度来描述，偏度>0，则频数分布的高峰向左偏移，呈右（正）偏态分布；偏度<0，则频数分布的高峰向右偏移，呈左（负）偏态分布；|偏度|>1，呈高度偏态，0.5<|偏度|<1，呈中等偏态。

偏态分布的数据如何处理

对于偏态分布的数据，我们需要做一些处理使其变换为正态分布，常用的变换方式有

1. 对数变换：适用于相乘关系的数据、高度偏态的数据

2. 平方根变换：适用于泊松分布（方差与均数近似相等）的数据、轻度偏态的数据

3. 反正弦变换：适用于百分比的数据、中度偏态的数据

4. 倒数变换1/x：适用于两端波动较大的数据

记得上上小节泰坦尼克数据分析中的fare字段吗，从偏度可以看出是一个很明显的右偏分布的数据

绘制直方图观察也是如此，这时就可以使用对数变换。

双击纵坐标，在弹出的【设置坐标轴格式】中选择对数刻度即可，比之前的右偏好多了。

总结

1 偏态是针对正态而言的
2 描述偏态的有偏度系数这个指标
3 偏态数据通常转换为正态分布的数据，用的较多的转换方式有对数和平方根

---

系列文章：

数据分析都有哪些岗位？

@ 作者：可乐
@ 公众号/知乎专栏/头条/简书：可乐的数据分析之路
@ 个人微信：data_cola