大数定理

弱大数定理（辛钦定理）

X 1 , X 2 … X_1, X_2 \dots X1​,X2​…是相互独立， 服从同一分布的随机变量序列， 数学期望为 E ( X k ) = μ ( k = 1 , 2 , ⋯   ) E(X_k)=\mu (k=1,2,\cdots) E(Xk​)=μ(k=1,2,⋯), 则对于任意 ϵ > 0 \epsilon>0 ϵ>0:
lim ⁡ n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε } = 1 \lim _{n \rightarrow \infty} P\left\{\left|\frac{1}{n} \sum_{k=1}^{n} X_{k}-\mu\right|0 E(Xk​)=μ,D(Xk​)=σ2>0， 有：
1 n ∑ k = 1 n X k ∼ N ( μ , σ 2 / n ) \frac{1}{n}\sum_{k=1}^{n} X_{k}\sim \mathcal{N}(\mu, \sigma^2/n) n1​k=1∑n​Xk​∼N(μ,σ2/n)
中文版本： 当样本数量足够多时， 样本均值服从均值为分布均值， 方差为分布方差的 n n n分之一的高斯分布。

不同分布的中心极限（李雅普诺夫定理）

设 X 1 , X 2 … X_1, X_2 \dots X1​,X2​…是相互独立， 不一定服从同一分布， 有:
E ( X k ) = μ k , D ( X k ) = σ k 2 > 0 , k = 1 , 2 , ⋯   , E\left(X_{k}\right)=\mu_{k}, \quad D\left(X_{k}\right)=\sigma_{k}^{2}>0, k=1,2, \cdots, E(Xk​)=μk​,D(Xk​)=σk2​>0,k=1,2,⋯,
记： B n 2 = ∑ k = 1 n σ k 2 B_{n}^{2}=\sum_{k=1}^{n} \sigma_{k}^{2} Bn2​=∑k=1n​σk2​。
有：
∑ k = 1 n X k ∼ N ( Σ k = 1 n μ k , B n 2 ) \sum_{k=1}^{n} X_{k}\sim \mathcal{N}(\Sigma_{k=1}^n\mu_k, B_{n}^{2}) k=1∑n​Xk​∼N(Σk=1n​μk​,Bn2​)
也即：
1 n ∑ k = 1 n X k ∼ N ( 1 n Σ k = 1 n μ k , 1 n 2 B n 2 ) \frac{1}{n}\sum_{k=1}^{n} X_{k}\sim \mathcal{N}(\frac{1}{n}\Sigma_{k=1}^n\mu_k, \frac{1}{n^2}B_{n}^{2}) n1​k=1∑n​Xk​∼N(n1​Σk=1n​μk​,n21​Bn2​)
中文版本：当样本数量足够多时， 样本均值服从高斯分布， 其均值为样本的均值的均值。 方差为样本方差的均值。

切比雪夫不等式与大数定理的证明

E ( 1 n ∑ k = 1 n X k ) = 1 n ∑ k = 1 n E ( X k ) = 1 n ( n μ ) = μ , E\left(\frac{1}{n} \sum_{k=1}^{n} X_{k}\right)=\frac{1}{n} \sum_{k=1}^{n} E\left(X_{k}\right)=\frac{1}{n}(n \mu)=\mu, E(n1​k=1∑n​Xk​)=n1​k=1∑n​E(Xk​)=n1​(nμ)=μ,
D ( 1 n ∑ k = 1 n X k ) = 1 n 2 ∑ k = 1 n D ( X k ) = 1 n 2 ( n σ 2 ) = σ 2 n D\left(\frac{1}{n} \sum_{k=1}^{n} X_{k}\right)=\frac{1}{n^{2}} \sum_{k=1}^{n} D\left(X_{k}\right)=\frac{1}{n^{2}}\left(n \sigma^{2}\right)=\frac{\sigma^{2}}{n} D(n1​k=1∑n​Xk​)=n21​k=1∑n​D(Xk​)=n21​(nσ2)=nσ2​
由切比雪夫不等式：
1 ⩾ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ε } ⩾ 1 − σ 2 / n ε 2 1 \geqslant P\left\{\left|\frac{1}{n} \sum_{k=1}^{n} X_{k}-\mu\right|