很多年没有看过概率论与数理统计了,所以差不多打算做一个扫盲,讲的都是最基础的东西,就当是帮我回想了。
一、正态分布
在介绍后面几种分布之前,我们先从正态分布开始。正态分布是高中数学里老面孔了,所以我们这里就略写了,图我也懒的画了。
正态分布(Normal Distribution)是概率论与数理统计中最重要、最常见的连续型概率分布之一。如果你不记得什么是连续性概率分布请自行百科,或者从相反的角度想想什么是离散型概率分布。正态分布最显著的特征就是那条钟形曲线:中间高,两边低,左右对称。那么,为什么自然界中会出现这样一种分布?
一个比较直观的解释是,许多现实现象往往同时受到大量因素的影响,而这些因素各自带来的影响相对独立、细小。当它们共同作用时,最终结果在一定条件下就可能呈现出近似正态分布的形态。例如,一个人的身高受到遗传、营养、睡眠、生活环境等多种因素影响。虽然每个人的具体情况不同,但如果我们统计大量同一性别、相近年龄群体的身高,就可能发现数据大致围绕某个平均值分布:特别高和特别矮的人相对较少,大多数人集中在平均身高附近。
这里涉及一个重要的数学结论——中心极限定理。它表明,在一定条件下,许多相互独立的随机变量之和经过适当标准化后,其分布会趋近于正态分布。这也是正态分布在自然科学和社会科学中如此常见的重要原因之一。当然,这并不意味着所有受到多种因素影响的事物都必然服从正态分布。
从历史上看,正态分布的发展也与实际测量问题密切相关。18世纪,数学家棣莫弗在研究二项分布时已经得到了正态近似的早期结果,随后拉普拉斯进一步发展了相关理论。高斯则将其应用于天文学观测误差的研究,因此正态分布也常被称为高斯分布(Gaussian Distribution)。
正态分布的基本形式
一个随机变量 如果服从均值为 、方差为 的正态分布,我们记作:
它的概率密度函数为:
其中, 表示数学期望,决定分布的中心位置; 表示方差,反映数据的离散程度,而 则是标准差。正态分布的图像有几个非常明显的特征:首先,它以均值 为对称轴,左右完全对称,因此均值、中位数和众数三者相等;其次,曲线中间高、两边低,数据越靠近均值,出现的概率密度通常越高;此外,曲线下面积始终为1,两侧无限延伸但永远不会真正与横轴相交。
这里还有一个非常有用的经验规律:对于正态分布,约68.27%的数据落在均值左右一个标准差以内,约95.45%的数据落在两个标准差以内,约99.73%的数据落在三个标准差以内。换句话说,大多数数据都集中在平均值附近,距离平均值越远,出现的概率通常越低。
标准正态分布
在正态分布中,还有一个特别重要的形式:标准正态分布。当一个正态随机变量的均值为0、标准差为1时,我们称其服从标准正态分布,记作:
任何正态分布随机变量,都可以通过下面的公式进行标准化:
这个过程的意义在于,将不同均值、不同标准差的正态随机变量,统一转换为均值为0、标准差为1的标准正态随机变量。这样一来,我们就不必为每一种正态分布单独研究一套概率计算方法,而可以统一利用标准正态分布进行计算。
至此,我们已经认识了正态分布的基本形式。它不仅是一个重要的概率分布,也是后面许多统计理论的基础。不过,正态分布虽然简单,却并不能解决所有统计问题。接下来,我们就从一个实际问题出发,看看当我们需要比较实际观察结果与理论预期之间的差异时,正态分布还能不能胜任。
二、卡方分布:从鸟类调查到统计检验
正态分布为我们提供了一种描述连续型随机变量取值规律的工具,但现实中的统计问题远不止于此。假设我们想研究一个地区的鸟类种群变化,统计麻雀、燕子、喜鹊和乌鸦的数量,看看它们各自的比例是否发生了变化。这时候,我们面对的就不再是身高、体重这样连续变化的数据,而是一组不同类别的数量。我们可以计算它们的平均值,也可以计算方差,但这些方法似乎都不能直接回答我们最关心的问题:实际观察到的数量与理论预期之间,究竟存在多大的差异?这种差异是否足以说明原来的情况已经发生了变化?为了解决这个问题,我们需要认识一种新的概率分布——卡方分布(Chi-square Distribution)。
从鸟类调查说起
假设我们是一支生态调查小组,现在需要研究某地区鸟类种群的构成是否发生了变化。过去几年,我们已经对当地的鸟类进行过调查,并掌握了四种常见鸟类的大致比例。根据历史调查结果,麻雀约占40%,燕子约占30%,喜鹊约占20%,乌鸦约占10%。现在,我们再次来到这个地区,随机观察100只鸟,统计它们的种类,得到以下结果:
| 鸟类 | 历史占比 | 理论预期数量 | 实际观察数量 | 差值 |
|---|---|---|---|---|
| 麻雀 | 40% | 40 | 45 | +5 |
| 燕子 | 30% | 30 | 20 | -10 |
| 喜鹊 | 20% | 20 | 25 | +5 |
| 乌鸦 | 10% | 10 | 10 | 0 |
| 合计 | 100% | 100 | 100 | 0 |
这里的理论预期数量,是根据过去的种群比例和本次调查的总数量计算出来的。例如,本次一共观察到100只鸟,按照过去40%的比例,我们就应该预期其中有40只麻雀。其余几种鸟类也可以用相同的方法计算。
可以看到,本次调查中麻雀比预期多了5只,燕子少了10只,喜鹊多了5只,乌鸦则没有变化。那么,我们能否据此断定当地鸟类的种群构成已经发生了变化?显然不能。即使当地鸟类的真实构成完全没有变化,每次随机调查的结果也不可能完全相同。我们需要区分两种情况:一种是正常的随机波动,另一种则是足以让我们怀疑原有种群构成已经改变的异常偏差。
因此,我们真正想知道的,不是实际数量与预期数量相差多少,而是这些差异究竟有多大,是否已经大到不能简单归因于随机波动。

卡方统计量的构造
既然我们已经发现了问题,接下来就要寻找衡量偏差的方法。面对实际数量与理论预期数量之间的差异,我们首先想到的办法可能是直接将它们相减,然后把所有差值加在一起。但很快就会发现,这种方法存在一个明显的问题:正负差值会相互抵消。在我们的例子中,麻雀多了5只,燕子少了10只,喜鹊多了5只,乌鸦没有变化。如果直接相加:
结果竟然是零。这显然不能说明我们的调查结果与理论预期完全一致,只能说明增加的数量和减少的数量恰好抵消了。
既然直接相加不行,我们可以考虑取绝对值。这样一来,无论数量增加还是减少,都会被视为偏差:
这次至少得到了一个能够反映偏差大小的数值。不过,绝对值相加仍然有一定局限。它对所有偏差采取相同的线性处理方式,而我们可能希望较大的偏差受到更高的惩罚。此外,绝对值函数在零点不可导,在后续数学推导中也不如平方函数方便。
于是,我们又有了第三种选择:将差值平方后再求和。
平方有两个明显的好处:一是无论原来的差值是正数还是负数,平方后都变成非负数,不再存在相互抵消的问题;二是平方会放大较大的偏差,使其在最终结果中占据更大的权重。此外,平方函数连续、光滑、可导,在后续的数学推导中也十分方便。
不过,这个方法仍然存在一个问题。假设我们有两种鸟类,它们的实际数量都比理论预期多了10只:一种鸟原本预计有1000只,另一种鸟原本预计只有20只。两者的绝对偏差都是10,平方之后也都是100。但显然,后一种鸟类的数量变化更加值得关注。因为对于原本只有20只的鸟类而言,增加10只意味着数量增长了50%;而对于原本有1000只的鸟类而言,增加10只仅仅意味着增长了1%。
因此,我们还需要考虑理论预期数量本身的大小。一个自然的办法就是将平方后的偏差除以理论预期数量,最终得到:
其中, 表示第 类的实际观察数量, 表示该类的理论预期数量, 表示类别总数。这个统计量就是著名的 Pearson 卡方统计量(Pearson’s Chi-squared Statistic)。
我们再把它放回刚才的鸟类调查中:
| 鸟类 | 实际数量 | 预期数量 | 偏差贡献 |
|---|---|---|---|
| 麻雀 | 45 | 40 | 0.625 |
| 燕子 | 20 | 30 | 3.333 |
| 喜鹊 | 25 | 20 | 1.250 |
| 乌鸦 | 10 | 10 | 0 |
| 合计 | 100 | 100 | 5.208 |
例如,麻雀对最终统计量的贡献为:
燕子的贡献则为:
将四种鸟类的贡献全部相加,就得到:

可以看到,虽然麻雀和喜鹊的绝对偏差都是5只,但由于两者的理论预期数量不同,对最终统计量的贡献也不同。燕子的偏差最大,对整个统计量的贡献也最大。
这里需要稍微深入一点。为什么要除以预期数量,而不是随便选择一个其他的数值?原因在于,我们不仅要考虑偏差本身的大小,还要考虑在原假设成立时,这种偏差通常会有多大的随机波动。对于计数数据而言,预期数量与其随机波动规模存在密切关系。例如,在泊松分布模型中,随机变量的方差就等于其数学期望。在固定总数的多项分布中,情况会稍微复杂一些,各类别之间还存在相关性,但预期数量仍然提供了一个重要的波动尺度。通过这种标准化处理,我们才能进一步建立统计量与特定概率分布之间的数学联系。
当然,平方和除以预期数量并不是唯一能够衡量偏差的方法,而是 Pearson 选择并发展起来的一种具有良好统计性质的构造方式。它的可靠性最终还需要通过后面的概率分布理论来解释。
卡方分布的由来
现在,我们已经成功构造出了一个能够衡量实际观察结果与理论预期之间偏差的统计量。但问题并没有完全解决。假设我们计算得到的卡方统计量是5.208,这个数字究竟意味着什么?它算大还是算小?我们又应该如何判断它是否足以说明原来的理论预期已经不再适用?
单纯得到一个数字并不能解决问题。我们还需要一个参照系,知道在原假设成立、仅仅存在随机波动的情况下,这个统计量通常会取到什么数值。于是,我们就需要引入卡方分布。
这里可以简单介绍一下它的历史。英国统计学家卡尔·皮尔森(Karl Pearson)在1900年发表了关于拟合优度检验的经典论文,正式提出了后来以他命名的 Pearson 卡方检验。他的工作将实际观察到的频数与理论预期频数之间的偏差,转化成一个可以进行概率计算和统计判断的量。不过,卡方分布的数学基础并不是由 Pearson 一个人建立的。在他之前,数学家 Bienaymé、Abbe、Helmert 等人已经对误差平方和及其分布进行了研究。Pearson 的重要贡献,是将这些数学思想发展为具有广泛应用价值的统计检验方法。
至于为什么叫卡方,答案其实很简单。这里的「卡」来自希腊字母 (Chi),而「平方」则来自统计量中对偏差进行平方的操作。因此, 就被称为卡方。它并不是因为卡尔·皮尔森的名字而得名。
那么,卡方分布究竟是怎样形成的?我们回忆一下刚刚学过的正态分布。标准正态分布的随机变量以0为中心,既可能取正值,也可能取负值。如果我们将一个标准正态随机变量平方,那么它就只能取非负值。进一步地,如果我们有多个相互独立的标准正态随机变量,将它们分别平方后再相加,就会得到一个新的随机变量:
这就是卡方分布最基本的数学定义。也就是说,卡方分布是若干个相互独立的标准正态随机变量的平方和所形成的概率分布。 这里的 就是自由度(Degrees of Freedom)。
为什么这种平方和会与我们刚刚构造的 Pearson 卡方统计量产生联系?原因在于,在原假设成立且样本量足够大的情况下,各类别的观察频数围绕理论预期发生随机波动。根据多元中心极限定理,经过适当标准化后,这些偏差可以近似表现出多元正态分布的性质。由于所有类别的观察数量之和已经固定,各类别偏差之间并不是完全独立的;在四种鸟类的例子中,前三种鸟的数量确定后,第四种鸟的数量也就随之确定。因此,真正独立的变化维度只有三个。经过适当的数学变换,Pearson 卡方统计量最终可以近似表示为三个相互独立的标准正态随机变量的平方和。
wwww我在讲什么wwww
这就解释了为什么在刚才的鸟类调查中,我们可以使用自由度为3的卡方分布作为参照。这里需要强调:卡方分布由独立标准正态随机变量的平方和构成,是一个精确的数学定义;而 Pearson 卡方检验中的统计量,在满足一定条件时,是近似服从相应自由度的卡方分布。两者有着深刻的数学联系,但不能直接画等号。
卡方分布的基本形式
既然已经知道卡方分布是由多个标准正态随机变量的平方和构成的,那么我们就可以进一步研究它的数学形式。
一个自由度为 的卡方随机变量,其概率密度函数为:
其中, 是自由度, 是伽马函数。伽马函数可以看作阶乘在实数范围内的一种推广,例如对于正整数 ,有 。不过这对我们的扫盲来说并不重要,这里暂时不需要深入研究它,证明我未来也许会写。这里只需要知道它在公式中承担了归一化的作用,使整个概率密度曲线下方的面积等于1。
与正态分布不同,卡方分布的随机变量只能取非负值,因为无论一个随机变量原本是正数还是负数,平方之后都不会小于零。除此之外,卡方分布的形状也并不是固定的,而是会随着自由度的变化而变化。这一点与正态分布有着明显的不同:正态分布无论参数如何变化,始终保持钟形曲线的基本形态;卡方分布却会随着自由度增加,逐渐改变自己的偏斜程度和峰值位置。
自由度与分布形状
首先需要弄清楚什么是自由度。我们可以继续回到刚才的鸟类调查。四种鸟类的实际观察数量分别为45、20、25和10,它们的总数已经确定为100。假设我们已经知道前三种鸟类的数量,那么第四种鸟类的数量就不再是一个可以自由变化的数值,而是由总数减去前三种鸟类的数量得到。换句话说,虽然我们有四个类别,但真正能够独立变化的只有三个。因此,这个问题的自由度就是3。
对于一个有 个类别、理论比例事先完全确定的拟合优度检验,自由度通常为:
如果理论分布中的某些参数不是事先给定,而是需要通过样本估计,那么还需要扣除估计参数所消耗的自由度。假设一共估计了 个独立参数,在常见条件下,自由度为:
例如,我们要检验四种鸟类是否符合事先给定的40%、30%、20%、10%的比例,那么自由度就是 。如果这些比例中有一个或多个参数需要根据样本估计,就不能再简单地使用3,而需要进一步调整。
理解了自由度,我们再来看看它如何影响卡方分布的形状。下面分别绘制自由度为1、2、3、5、10和20时的卡方分布概率密度曲线:

这张图非常值得仔细观察。首先,卡方分布通常呈现右偏分布的形状,也就是左侧较高、右侧拖着一条逐渐下降的长尾。自由度为1时,曲线在0附近非常陡峭,概率密度会随着 接近0而趋向无穷大;自由度为2时,曲线从0.5开始,随后不断下降;当自由度大于2时,曲线才会出现明显的内部峰值。随着自由度不断增加,峰值逐渐向右移动,曲线也逐渐变得平缓,右偏程度不断减弱。
这种变化并不是偶然的。卡方分布是多个标准正态随机变量的平方和。自由度越大,就意味着参与求和的随机变量越多,平方和的取值也会越来越集中在其数学期望附近。随着自由度增加,整个分布的形状便逐渐接近正态分布。
卡方分布还有几个非常重要的数学性质。首先,它的数学期望等于自由度,方差则等于自由度的两倍:
对于自由度大于2的情况,它的众数为:
此外,卡方分布的偏度为:
这意味着随着自由度不断增加,分布的右偏程度会逐渐降低。事实上,当自由度足够大时,卡方分布可以近似看作一个正态分布:
这里的近似不是说卡方分布突然变成了正态分布,而是说随着自由度增加,它的标准化形状会越来越接近钟形曲线。需要注意的是,虽然它相对于自身均值的离散程度在下降,但它的绝对方差实际上仍然随着自由度增加而增大。
卡方检验与P-value
现在回到最初的鸟类调查。我们已经计算出了卡方统计量:
同时,我们知道这次拟合优度检验的自由度为3。接下来,我们只需要将这个统计量放到自由度为3的卡方分布中,看看它究竟处于什么位置。
这里就要引入一个重要概念:P-value(P值)。P-value 可以理解为:在原假设成立的前提下,观察到当前这样大、甚至更大的检验统计量的概率。对于卡方检验而言,由于统计量越大通常意味着实际观察结果与理论预期之间的偏差越大,因此我们关注的是卡方分布右侧的尾部面积。
在我们的例子中,卡方统计量为5.208,自由度为3,对应的 P-value 约为0.157。
也就是说,假设当地鸟类的原有构成比例确实没有变化,那么仅仅由于随机抽样,就观察到当前这么大或者更大偏差的概率约为15.7%。

假设我们事先设定显著性水平为5%,也就是 。由于:
因此,我们没有足够的统计证据拒绝原假设。换句话说,这次调查虽然观察到了鸟类数量的偏差,但这些偏差还不足以让我们有把握地认为当地鸟类的构成比例已经发生变化。
这里必须避免一个常见误解:P-value 为0.157,并不意味着原假设有85.7%的概率成立,也不意味着有15.7%的概率原假设成立。它描述的是在原假设成立的前提下,当前数据或更极端数据出现的概率,而不是原假设本身成立的概率。
卡方检验的一般流程也就由此形成了。首先,根据研究问题提出原假设和备择假设;随后,收集实际观察频数,并按照原假设计算理论预期频数;然后,根据实际频数与预期频数计算卡方统计量,确定相应的自由度;最后,利用卡方分布计算 P-value,并将它与事先设定的显著性水平进行比较。如果 P-value 小于显著性水平,就拒绝原假设;如果大于显著性水平,则说明目前没有足够证据拒绝原假设。需要注意的是,未能拒绝原假设并不等于证明原假设正确,只能说明当前样本没有提供足够强的反对证据。
卡方检验的类型
卡方检验并不只有我们刚才使用的拟合优度检验。根据研究问题的不同,它还可以分成几种常见类型。
第一种是拟合优度检验(Goodness-of-Fit Test)。这是我们刚才使用的方法,主要用于判断一组实际观察到的分类频数,是否符合某个事先指定的理论分布。例如,我们可以检验骰子是否均匀,某种遗传性状是否符合孟德尔遗传比例,或者某地区鸟类的种群构成是否符合过去的调查比例。它通常只涉及一个分类变量,核心问题是:实际观察到的比例是否符合我们预先设定的理论比例?
第二种是独立性检验(Test of Independence)。假设我们不再只调查鸟类的种类,而是同时记录鸟类的种类和栖息环境。我们想知道,鸟类的种类与栖息环境之间是否存在关联。例如,麻雀是否更倾向于出现在城市环境,燕子是否更倾向于出现在湿地附近。此时,我们就需要使用列联表,将两个分类变量交叉排列,再比较实际观察频数与假设两者相互独立时的理论预期频数。
假设我们调查了80只鸟,得到以下数据:
| 栖息环境 | 麻雀 | 燕子 | 合计 |
|---|---|---|---|
| 城市 | 30 | 10 | 40 |
| 湿地 | 10 | 30 | 40 |
| 合计 | 40 | 40 | 80 |
如果鸟类种类与栖息环境完全独立,那么城市和湿地中麻雀、燕子的比例应该相同。以城市中的麻雀为例,在独立性假设下,它的理论预期数量为:
其他三个单元格也可以用相同的方法计算,最终得到每个单元格的理论预期数量都是20。于是,我们可以继续使用卡方统计量:
其中, 和 分别表示第 行、第 列的实际观察频数和理论预期频数。对于有 行、 列的列联表,自由度为:
在这个例子中,自由度为1。计算得到的卡方统计量为20,说明实际观察到的分布与独立性假设下的预期分布存在相当明显的差异。通过进一步计算 P-value,我们就可以判断这种差异是否具有统计显著性。
第三种是同质性检验(Test of Homogeneity)。假设我们分别从三个不同地区抽取鸟类样本,想知道这三个地区的鸟类种群构成是否相同。此时,我们不是研究两个变量是否独立,而是比较不同总体之间的分类比例是否一致。例如,三个地区的麻雀、燕子、喜鹊和乌鸦所占比例是否存在显著差异。
同质性检验同样可以使用列联表,其理论预期频数和自由度的计算方式与独立性检验相同。两者在数学计算上几乎没有区别,主要区别在于研究设计和问题本身:独立性检验通常从一个总体抽样,同时观察两个分类变量;同质性检验则从不同总体或不同组别分别抽样,比较同一个分类变量的分布是否一致。
这三种检验虽然研究的问题不同,但背后的基本思想是一致的:先根据原假设计算理论预期频数,再比较实际观察频数与理论预期频数之间的偏差,最后利用卡方分布判断这种偏差是否足够异常。
卡方检验的适用条件与局限性
卡方检验看起来非常方便,但它并不是任何情况下都能使用。首先,它主要处理分类数据的频数,而不是直接处理连续变量的原始测量值。其次,各个观察结果应当相互独立,每个样本也应当能够被明确地划分到相应类别中。此外,卡方检验通常依赖大样本近似,因此理论预期频数不能过小。在入门课程中,经常会看到每个单元格的理论预期频数最好不低于5这一经验要求,但这并不是绝对的数学定律;实际判断还要考虑低于5的单元格比例、是否存在极小预期频数以及检验的具体类型。如果样本过少、预期频数过低,就需要考虑 Fisher 精确检验、精确概率计算或者其他适当的方法。
其次,卡方检验只能告诉我们整体偏差是否显著,却不一定能直接告诉我们究竟是哪个类别造成了差异。比如在鸟类调查中,即使最终得到了显著的检验结果,我们仍然需要进一步检查各类别的标准化残差,才能确定究竟是麻雀数量异常增加,还是燕子数量异常减少,抑或两者同时发生了变化。如果研究的是两个分类变量之间的关联,还可以进一步计算 Cramér’s V 等效应量,衡量关联强度,而不能只看 P-value。
最后,统计显著性也不等于现实意义。样本量足够大时,即使实际差异非常微小,也可能得到显著的检验结果;反过来,样本量太小时,即使现实差异相当明显,也可能无法通过检验。更重要的是,卡方检验本身不能解释差异产生的原因,更不能直接证明因果关系。对于我们的鸟类调查而言,如果调查范围、调查时长、季节或者鸟类被发现的概率发生变化,那么数量差异也可能来自调查方法,而不是真实的种群变化。
因此,卡方检验是一种判断观察数据与理论预期是否存在显著差异的工具,而不是解释现实世界中所有变化的万能方法。