六西格玛统计数据分析的正态假设原理

Andy.168

现实数据没有完全的正态，而正态又是很多统计分析工具使用的前提，那么很多统计分析工具在实际中如何其作用呢？在实践中你不需要完全的正态，你只需要近似的正态即好。

一、关于正态假设的第一个原理：

这个假设一般不应用于原始的未加工的数据，但用于模型的残差或误差项。如公司的总资产（x1）和分期偿还的年数（x2）的基础上，预测收购的商誉（Y），你可能会使用这个标准回归模型：

Y=b0+β1X1+β2X2+ε,式中，ε代表残差或预测误差（模型预测和你实际观测到的差异）；b0 代表常数项；β1，β2代表预测变量X1，X2的系数，在这个模型中，不是对商誉（Y）做正态假设，而是对残差值ε。因此在该情形下衡量正态假设的有效性，不是要衡量商誉的正态性，而是要进行回归分析对残差进行计算，并衡量残差的正态性。这种情况下应该寻求近似正态，而不是完全的正态。原始数据商誉的极端非正态，是残差很可能极端非正态的指示器，这一点成立。不过在很多情况下，原始数据不是近似正态，而残差是。这是因为原始数据包含了X变量的影响，在这里是总资产和分期偿还。

二、 关于正态分布和正态假设的第二个重要原理是中心极限定理：

中心极限定理指出无论原始数据是何分布，随机样本中计算出的均值都趋向于服从正态分布。换句话说，即使商誉极端偏斜，对五个不同收购取均值，分析这些均值都可以发现是一个近似正态分布。这个理论的实际影响是我们用统计分析工具分析均值不是单个值时，我们可以对正态性的关注减少。例如标准t检验和方差分析均值检验。所以均值分析的统计分析工具对正态假设都不敏感，即当原始数据不是正态的时候，它们也很有效。因此我建议教授t检验和方差分析之前可以不用过于强调正态性检验。

对于非正态数据（或偏斜分布），我通常处理的战略如下，供读者参考。

1、什么都不做：即继续做下去，仿佛数据是正态分布的一样进行处理。当满足以下三个标准中的任何一个，这个方法就可取：

a.数据近似正态；

b.使用统计分析工具是基于均值的；

c.使用的统计分析工具对正态假设不敏感。

对于非常之的数据，经正态检验分析，一般都不是正态分布的。因为现实中的数据没有完全正态的，同时也因数以万计甚至10万计的大容量样本提供了足够统计学力量来察觉与完全正态分布的微小差别。在很多此类情况下，数据图表揭示了一个近似正态分布，这对实用目的来说已经足够了。如果正在通过如t检验或方差分析等技术来比较均值，中心极限定理使正态假设变得不太重要。因此使用此方法，你可很少需要考虑正态性，哪怕样本只有5个，你也可继续采用这些建议，而不用管是否为常态。另外回归分析中的系数估计是另一个对正态假设不敏感的技术例子。

2、利用适当的分布识别技术：在有些情况下，你可以确定数据服从那种特殊的非正态分布。如有些周期时间数据趋向于服从威布尔分布。比较幸运有些统计分析工具软件中有为处理威布尔分布数据专门制定的菜单。类似的广义线性模型的回归分析方法，能使使用者对大量的服从不同分布的数据进行恰当的分析，包括指数分布甚至是离散分布。

3、利用非参数统计分析工具：在你不知道数据会满足何种分布时此方法特别适用。这些方法没有特殊概率分布的假设，因此对大量的潜在问题和数据都适用；但有一点需记得，一般非参数建议不如基于特定分布的检验有效；

4、利用变换：当变换是一个非线性函数，就有能力把偏斜的数据正态化为近似正态，至少在某些情况下是可以的。常用的包括对数、平方根、（特别对于离散的数据）和倒数。为了找到恰当的变换，可用Box-Cox法。但在分享结果时记得要把变换了的单位记得转回最初的单位，否别人就看不懂。

总而言之，制造领域以外的六西格玛应用中的很多数据不是正态分布或接近正态分布的。虽然在统计学中正态假设可能很重要，但很多时候不是这样的。即便这个假设很重要，六西格玛黑带应能采用有效的分析工具来分析这些数据。因此缺乏正态性是一个值得思考的技术问题，但不是一个恰当地应用六西格玛方法的一个障碍。

精彩内容请关注公众号young666