主題
Search

最大似然法

最大似然法，也稱為最大似然方法，是尋找一個或多個引數值以最大化給定統計量的已知似然分佈的程式。最大似然估計對於引數 mu 表示為 mu^^。

對於伯努利分佈，

d/(dtheta)[(N; Np)theta^(Np)(1-theta)^(Nq)]=Np(1-theta)-thetaNq=0,
(1)

因此，最大似然發生在 theta=p 時。如果 p 事先未知，則 似然函式 為

f(x_1,...,x_n|p)=P(X_1=x_1,...,X_n=x_n|p)
(2)
=p^(x_1)(1-p)^(1-x_1)...p^(x_n)(1-p)^(1-x_n)
(3)
=p^(sumx_i)(1-p)^(sum(1-x_i))=p^(sumx_i)(1-p)^(n-sumx_i),
(4)

其中 x=0 或 1，且 i=1, ..., n。

lnf=sumx_ilnp+(n-sumx_i)ln(1-p)
(5)
(d(lnf))/(dp)=(sumx_i)/p-(n-sumx_i)/(1-p)=0.
(6)

重新排列得到

sumx_i-psumx_i=np-psumx_i,
(7)

因此

p^^=(sumx_i)/n.
(8)

對於正態分佈，

f(x_1,...,x_n|mu,sigma)=product1/(sigmasqrt(2pi))e^(-(x_i-mu)^2/(2sigma^2))
(9)
=((2pi)^(-n/2))/(sigma^n)exp[-(sum(x_i-mu)^2)/(2sigma^2)]
(10)

因此

lnf=-1/2nln(2pi)-nlnsigma-(sum(x_i-mu)^2)/(2sigma^2)
(11)

和

(partial(lnf))/(partialmu)=(sum(x_i-mu))/(sigma^2)=0,
(12)

得到

mu^^=(sumx_i)/n.
(13)

類似地，

(partial(lnf))/(partialsigma)=-n/sigma+(sum(x_i-mu)^2)/(sigma^3)=0
(14)

得到

sigma^^=sqrt((sum(x_i-mu^^)^2)/n).
(15)

請注意，在這種情況下，最大似然標準差是樣本標準差，它是總體標準差的有偏估計量。

對於加權正態分佈，

f(x_1,...,x_n|mu,sigma)=product1/(sigma_isqrt(2pi))e^(-(x_i-mu)^2/2sigma_i^2)
(16)
lnf=-1/2nln(2pi)-nsumlnsigma_i-sum((x_i-mu)^2)/(2sigma_i^2)
(17)
(partial(lnf))/(partialmu)=sum((x_i-mu))/(sigma_i^2)=sum(x_i)/(sigma_i^2)-musum1/(sigma_i^2)=0
(18)

得到

mu^^=(sum(x_i)/(sigma_i^2))/(sum1/(sigma_i^2)).
(19)

則均值的方差為

sigma_mu^2=sumsigma_i^2((partialmu)/(partialx_i))^2.
(20)

但是

(partialmu)/(partialx_i)=partial/(partialx_i)(sum(x_i/sigma_i^2))/(sum(1/sigma_i^2))=(1/sigma_i^2)/(sum(1/sigma_i^2)),
(21)

因此

sigma_mu^2=sumsigma_i^2((1/sigma_i^2)/(sum(1/sigma_i^2)))^2
(22)
=sum(1/sigma_i^2)/([sum(1/sigma_i^2)]^2)
(23)
=1/(sum(1/sigma_i^2)).
(24)

對於泊松分佈，

f(x_1,...,x_n|lambda)=(e^(-lambda)lambda^(x_1))/(x_1!)...(e^(-lambda)lambda^(x_n))/(x_n!)=(e^(-nlambda)lambda^(sumx_i))/(x_1!...x_n!)
(25)
lnf=-nlambda+(lnlambda)sumx_i-ln(productx_i!)
(26)
(d(lnf))/lambda=-n+(sumx_i)/lambda=0
(27)
lambda^^=(sumx_i)/n.
(28)

另請參閱

貝葉斯分析, 似然, 似然函式, 最大似然估計量

使用 探索

參考文獻

Harris, J. W. 和 Stocker, H. "最大似然法"。§21.10.4 見《數學和計算科學手冊》。紐約：Springer-Verlag，第 824 頁，1998 年。Hoel, P. G. 《數理統計導論》，第 3 版。紐約：Wiley，第 57 頁，1962 年。Press, W. H.; Flannery, B. P.; Teukolsky, S. A.; 和 Vetterling, W. T. "最小二乘法作為最大似然估計量"。§15.1 見《FORTRAN 數值食譜：科學計算的藝術》，第 2 版。英國劍橋：劍橋大學出版社，第 651-655 頁，1992 年。

在 上引用

最大似然法

請引用為

Weisstein, Eric W. "最大似然法。" 來自 Web 資源。 https://mathworld.tw/MaximumLikelihood.html

主題分類