主題
Search

中心極限定理

設 X_1,X_2,...,X_N 為一組 N 獨立 隨機變數，且每個 X_i 具有任意機率分佈 P(x_1,...,x_N)，均值為 平均值 mu_i，有限方差為 方差 sigma_i^2。則正態形式變數

X_(norm)=(sum_(i=1)^(N)x_i-sum_(i=1)^(N)mu_i)/(sqrt(sum_(i=1)^(N)sigma_i^2))
(1)

具有一個極限累積分佈函式，該函式趨近於 正態分佈。

在對 加數 的分佈施加額外條件下，機率密度本身也是 正態分佈 (Feller 1971)，均值為 平均值 mu=0，方差為 方差 sigma^2=1。 如果不執行正態形式轉換，則變數

X=1/Nsum_(i=1)^Nx_i
(2)

是 正態分佈 的，均值為 mu_X=mu_x，方差為 sigma_X=sigma_x/sqrt(N)。

Kallenberg (1997) 給出了中心極限定理的六行證明。 對於中心極限定理的一個基本但稍微繁瑣的證明，請考慮 P_X(f) 的 逆傅立葉變換。

F_f^(-1)[P_X(f)](x)=int_(-infty)^inftye^(2piifX)P(X)dX
(3)
=int_(-infty)^inftysum_(n=0)^(infty)((2piifX)^n)/(n!)P(X)dX
(4)
=sum_(n=0)^(infty)((2piif)^n)/(n!)int_(-infty)^inftyX^nP(X)dX
(5)
=sum_(n=0)^(infty)((2piif)^n)/(n!)<X^n>.
(6)

現在寫出

<X^n>=<N^(-n)(x_1+x_2+...+x_N)^n> =int_(-infty)^inftyN^(-n)(x_1+...+x_N)^nP(x_1)...P(x_N)dx_1...dx_N,
(7)

所以我們有

F_f^(-1)[P_X(f)](x)=sum_(n=0)^(infty)((2piif)^n)/(n!)<X^n>
(8)
=sum_(n=0)^(infty)((2piif)^n)/(n!)int_(-infty)^inftyN^(-n)(x_1+...+x_N)^n×P(x_1)...P(x_N)dx_1...dx_N
(9)
=int_(-infty)^inftysum_(n=0)^(infty)[(2piif(x_1+...+x_N))/N]^n1/(n!)P(x_1)...P(x_N)dx_1...dx_N
(10)
=int_(-infty)^inftye^(2piif(x_1+...+x_N)/N)P(x_1)...P(x_N)dx_1...dx_N
(11)
=[int_(-infty)^inftye^(2piifx_1/N)P(x_1)dx_1]×...×[int_(-infty)^inftye^(2piifx_N/N)P(x_N)dx_N]
(12)
=[int_(-infty)^inftye^(2piifx/N)P(x)dx]^N
(13)
={int_(-infty)^infty[1+((2piif)/N)x+1/2((2piif)/N)^2x^2+...]P(x)dx}^N
(14)
=[1+(2piif)/N<x>-((2pif)^2)/(2N^2)<x^2>+O(N^(-3))]^N
(15)
=exp{Nln[1+(2piif)/N<x>-((2pif)^2)/(2N^2)<x^2>+O(N^(-3))]}.
(16)

現在展開

ln(1+x)=x-1/2x^2+1/3x^3+...,
(17)

所以

F_f^(-1)[P_X(f)](x) approx exp{N[(2piif)/N<x>-((2pif)^2)/(2N^2)<x^2>+1/2((2piif)^2)/(N^2)<x>^2+O(N^(-3))]}
(18)
=exp[2piif<x>-((2pif)^2(<x^2>-<x>^2))/(2N)+O(N^(-2))]
(19)
approx exp[2piifmu_x-((2pif)^2sigma_x^2)/(2N)],
(20)

因為

mu_x=<x>
(21)
sigma_x^2=<x^2>-<x>^2.
(22)

取 傅立葉變換，

P_X=int_(-infty)^inftye^(-2piifx)F^(-1)[P_X(f)]df
(23)
=int_(-infty)^inftye^(2piif(mu_x-x)-(2pif)^2sigma_x^2/2N)df.
(24)

這是 ... 的形式

int_(-infty)^inftye^(iaf-bf^2)df,
(25)

其中 a=2pi(mu_x-x) 和 b=(2pisigma_x)^2/2N。 但這是 高斯函式的傅立葉變換，所以

int_(-infty)^inftye^(iaf-bf^2)df=e^(-a^2/4b)sqrt(pi/b)
(26)

（例如，Abramowitz 和 Stegun 1972，第 302 頁，公式 7.4.6）。 因此，

P_X=sqrt(pi/(((2pisigma_x)^2)/(2N)))exp{(-[2pi(mu_x-x)]^2)/(4((2pisigma_x)^2)/(2N))}
(27)
=sqrt((2piN)/(4pi^2sigma_x^2))exp[-(4pi^2(mu_x-x)^22N)/(4·4pi^2sigma_x^2)]
(28)
=(sqrt(N))/(sigma_xsqrt(2pi))e^(-(mu_x-x)^2N/2sigma_x^2).
(29)

但是 sigma_X=sigma_x/sqrt(N) 和 mu_X=mu_x， 所以

P_X=1/(sigma_Xsqrt(2pi))e^(-(mu_X-x)^2/2sigma_X^2).
(30)

“模糊”中心極限定理指出，受許多小的且不相關的隨機效應影響的資料近似服從 正態分佈。

另請參閱

Berry-Esséen 定理, 傅立葉變換--高斯, Lindeberg 條件, Lindeberg-Feller 中心極限定理, Lyapunov 條件 在 課堂中探索此主題

使用 探索

參考文獻

Abramowitz, M. and Stegun, I. A. (Eds.). Handbook of Mathematical Functions with Formulas, Graphs, and Mathematical Tables, 9th printing. New York: Dover, 1972.Feller, W. "The Fundamental Limit Theorems in Probability." Bull. Amer. Math. Soc. 51, 800-832, 1945.Feller, W. An Introduction to Probability Theory and Its Applications, Vol. 1, 3rd ed. New York: Wiley, p. 229, 1968.Feller, W. An Introduction to Probability Theory and Its Applications, Vol. 2, 3rd ed. New York: Wiley, 1971.Kallenberg, O. Foundations of Modern Probability. New York: Springer-Verlag, 1997.Lindeberg, J. W. "Eine neue Herleitung des Exponentialgesetzes in der Wahrscheinlichkeitsrechnung." Math. Z. 15, 211-225, 1922.Spiegel, M. R. Theory and Problems of Probability and Statistics. New York: McGraw-Hill, pp. 112-113, 1992.Trotter, H. F. "An Elementary Proof of the Central Limit Theorem." Arch. Math. 10, 226-234, 1959.Zabell, S. L. "Alan Turing and the Central Limit Theorem." Amer. Math. Monthly 102, 483-494, 1995.

在 中被引用

中心極限定理

請按如下方式引用

Weisstein, Eric W. "中心極限定理。" 來自 Web 資源。 https://mathworld.tw/CentralLimitTheorem.html

主題分類