极大似然估计，求极大似然估计

本文目录一览

1，求极大似然估计
2，极大似然估计步骤
3，极大似然估计
4，极大似然估计的优缺点
5，极大似然估计是怎么回事
6，什么是极大似然估计
7，总体未知参数的极大似然估计是什么函数的极大值点
8，极大似然估计MLE

1，求极大似然估计

（1，1，2，9，10，12，）是来自参数为λ的泊松分布总体的样本则因为其均值为： μ=(1+1+2+9+10+12)=35/6 又泊松分布的期望等于方差，所以σ2=μ=35/6 所以极大似然估计： P｛X=k｝=（35/6）^k/k!e^(-35/6) 则极大似然函数为： L(k1，k2...）=（35/6）^k1/k1!e^(-35/6)*（35/6）^k2/k2!e^(-35/6)*... 则P｛X=0｝的极大似然估计 L(θ）=（35/6）^nθ/（θ!）^n*e^(-35n/6) 则lnL(θ）=nθln（35/6）-nln（θ!）-35n/6 dlnL(θ）/dθ=nln（35/6）-n（1/θ+1/(θ-1)+...）令dlnL(θ）/dθ=0 则nln（35/6）-n（1/θ+1/(θ-1)+...）=0 则ln（35/6）=1/θ+1/(θ-1)+...

求极大似然估计

2，极大似然估计步骤

1.求极大似然估计的一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（3）求导数；（4）解似然方程。2.利用高等数学中求多元函数的极值的方法，有以下极大似然估计法的具体做法：(1)根据总体的分布，建立似然函数 ;(2) 当 L 关于可微时，(由微积分求极值的原理）可由方程组定出，称以上方程组为似然方程.因为 L 与有相同的极大值点，所以也可由方程组定出，称以上方程组为对数似然方程；就是所求参数的极大似然估计量。当总体是离散型的，将上面的概率密度函数，换成它的分布律极大似然估计方法（Maximum Likelihood Estimate，MLE）也称为最大概似估计或最大似然估计，是求估计的另一种方法，最大概似是1821年首先由德国数学家高斯（C. F. Gauss）提出，但是这个方法通常被归功于英国的统计学家。罗纳德·费希尔（R. A. Fisher）。极大似然估计方法是求估计的另一种方法,1821年首先由德国数学家C. F. Gauss（高斯）提出，但是这个方法通常被归功于英国的统计学家R. A. Fisher（罗纳德·费希尔）。

极大似然估计步骤

3，极大似然估计

设Xi=1：第i次抽样得到的球是黑球；Xi=0:第i次抽样得到的球是白球;那么抽样得到的黑球数为：∑Xi 那么P(Xi=1)=r/(1+r)于是极大似然函数为：L(r;x1,x2,...,xn)=∏f(xi;r)=[r/(1+r)]^nlnL(r;x1,x2,...,xn)=[lnr-ln(1+r)]/ndlnL/dr=[1/r-1/(1+r)]/n=0得到：无解那么这时候改变方法，从定义出发

（1，1，2，9，10，12，）是来自参数为λ的泊松分布总体的样本则因为其均值为：μ=(1+1+2+9+10+12)=35/6又泊松分布的期望等于方差，所以σ2=μ=35/6所以极大似然估计：p｛x=k｝=（35/6）^k/k!e^(-35/6)则极大似然函数为：l(k1，k2...）=（35/6）^k1/k1!e^(-35/6)*（35/6）^k2/k2!e^(-35/6)*...则p｛x=0｝的极大似然估计l(θ）=（35/6）^nθ/（θ!）^n*e^(-35n/6)则lnl(θ）=nθln（35/6）-nln（θ!）-35n/6dlnl(θ）/dθ=nln（35/6）-n（1/θ+1/(θ-1)+...）令dlnl(θ）/dθ=0则nln（35/6）-n（1/θ+1/(θ-1)+...）=0则ln（35/6）=1/θ+1/(θ-1)+...

极大似然估计

4，极大似然估计的优缺点

极大似然估计认为在一次单一的抽样实验中，该样本表现在所有可能的样本中，是出现概率相对最大的一个，通过对其概率的极值计算推断总体参数。这种推断方法的缺陷在于，适用面较窄，对于某些分布形式或参数无效；其优势则在于计算相对精密，估计效果唯一。极大似然估计方法（Maximum Likelihood Estimate，MLE）也称为最大概似估计或最大似然估计，是求估计的另一种方法，最大概似是1821年首先由德国数学家高斯（C. F. Gauss）提出，但是这个方法通常被归功于英国的统计学家。极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。原理它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是，一个随机试验如有若干个可能的结果A，B，C，... ，若在一次试验中，结果A出现了，那么可以认为实验条件对A的出现有利，也即出现的概率P（A）较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球，1个黑球；乙箱中有1个白球99个黑球。现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这时我们自然更多地相信这个黑球是取自乙箱的。

5，极大似然估计是怎么回事

极大似然估计法是求估计的另一种方法。它最早由高斯提出。后来为费歇在1912年的文章中重新提出，并且证明了这个方法的一些性质。极大似然估计这一名称也是费歇给的。这是一种上前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。

它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是：一个随机试验如有若干个可能的结果a，b，c，…。若在一次试验中，结果a出现，则一般认为试验条件对a出现有利，也即a出现的概率很大。求极大似然函数估计值的一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（3）求导数；（4）解似然方程极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。当然极大似然估计只是一种粗略的数学期望，要知道它的误差大小还要做区间估计。

6，什么是极大似然估计

极大似然估计是求估计的另一种方法。极大似然法（maximum likelihood estimation，MLE）是概率统计中估算模型参数的一种很经典和重要的方法，贯穿了机器学习中生成模型（Generative model）这一大分支的始终。有一定基础的同学肯定会知道与之对立的还有另一分支判别模型（Discriminative model）。极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。极大似然估计的例子：假设要统计全国人民的年均收入，首先假设这个收入服从服从正态分布，但是该分布的均值与方差未知。没有人力与物力去统计全国每个人的收入。国家有10几亿人口呢？那么岂不是没有办法了？有了极大似然估计之后，可以采用！比如选取一个城市，或者一个乡镇的人口收入，作为观察样本结果。然后通过最大似然估计来获取上述假设中的正态分布的参数。有了参数的结果后，就可以知道该正态分布的期望和方差了。也就是通过了一个小样本的采样，反过来知道了全国人民年收入的一系列重要的数学指标量！极大似然估计的核心关键就是对于一些情况，样本太多，无法得出分布的参数值，可以采样小样本后，利用极大似然估计获取假设中分布的参数值。

7，总体未知参数的极大似然估计是什么函数的极大值点

总体X～U（1，θ），其分布密度为f（x，θ）=1θ?1， 1≤x≤θ0，其他．（1）由.X＝EX＝θ+12，解得θ＝2.X?1，故θ的矩估计量为：?θ1＝2.X?1；似然函数为L(θ)＝1(θ?1)n，L′(θ)＝?n(θ?1)n+1＜0，L（θ）递减，又X1，…，Xn∈（1，θ），故θ的极大似然估计量为?θ2＝max{X1，…，Xn}．（2）E?θ1＝2E.X?1＝2μ?1＝2×θ+12?1＝θ．而?θ2＝max{X1，…，Xn}的分布函数为：F?θ2(x)＝P(?θ2≤x)＝P{max{X1，…，Xn}≤x}=P{X1≤x，…，Xn≤x}=nπi＝1P(Xi≤x)=0， x＜1(x?1θ?1)n， 1≤x＜θ1， x≥θ，从而其分布密度为：f?θ2(x)＝F′?θ2(x)＝n(x?1)n?1(θ?1)n，1≤x≤θ 0，其它，所以，E?θ2＝∫θ1x?n(x?1)n?1(θ?1)ndx＝∫θ1(x?1+1)n(x?1)n?1(θ?1)ndx=∫θ1n(x?1)n(θ?1)n+∫θ1n(x?1)n?1(θ?1)ndx=nn+1(x?1)n+1(θ?1)n|θ1+(x?1)n(θ?1)n|θ1＝nn+1(θ?1)+1＝nθ+1n+1．

因为它已经告诉你求最大值了，若通过导数为0求出一点，这一点自然为最大值。毕竟是做题，需要符合题意。若从几何上看是需要对比左右大小或二次求导才更严谨一些。

8，极大似然估计MLE

极大似然估计(Maximum Likelihood Estimation,MLE)，也称最大似然估计。统计学中，极大似然估计是重要的参数估计方法；机器学习领域，也经常看到直接使用极大似然估计以及使用极大似然思想的方法。在这篇笔记里，主要涉及极大似然的思想和非参数极大似然估计NPMLE。在参数估计[1]任务中，极大似然估计在给定样本且已知概率分布(密度) 条件下，估计分布参数的重要方法。 (在机器学习中，会用到未知概率分布(密度)的极大似然估计，见下文) 极大似然估计的核心思想，就是估计出使样本出现概率最大的参数作为分布(密度)参数；从另一个角度，极大似然估计认为已经发生的(这些样本出现)就是是概率最大的，从而求出分布(密度)参数。极大似然估计在绝大多数概率论或统计课程中都有详细的介绍，我这里就不赘述了，具体参见课本和网上资料。这里贴几个还不错的网上资料：维基百科《极大似然估计》 [2] 《最大似然估计》 [3] 笔者在参考李航博士《统计学习方法》[4]学习最大熵模型，遇到条件概率P(Y|X)的对数似然函数(6.2.4节)时，真的是一头雾水。如下图一直接触的极大似然估计都是已知模型，通过样本求参数。而这个似然函数，模型未知，参数未知，更不知道是怎么来的，懵圈了。。。为了搞清楚这个问题，查阅了《统计学习方法》的参考文献《A Maximum Entropy Approach to Natural Language Processing》[5]，也没有搞清楚这个问题。后来各种关键字在google上搜，终于搜到了比较靠谱的信息，大概如下： https://www.stat.washington.edu/thompson/S581_04/Notes/chapter_8.pdf [6] http://www.ms.uky.edu/~mai/sta709/Owen2005.pdf [7] http://statweb.stanford.edu/~owen/empirical/ [8] 这大概是一个经验似然(Empirical Likelihood)问题，但是有点艰深，笔者并不打算深入挖掘下去，只是从机器学习数学基础的角度搞清楚上述公式的由来。笔者看到了[4]的第一个公式，终于明白了李航博士书中公式的由来，如下。非参数极大似然估计(Non-Parametric Maximum Likelihood Estimation,NPMLE)，在大多数初级的概率论课本里是没有的。这里根据常规MLE的假设和建模过程，来简略推导NPMLE的似然函数。下图[3]为常规MLE的假设和似然函数建模过程。参考常规MLE，假设非参数的分布有相同的采样，但没有参数。[1]、百度百科《参数估计》 [2]、维基百科《极大似然估计》 [3]、《最大似然估计》 [4]、李航《统计学习方法》 [5]、Adam L. Berger, Stephen A. Della Pietra《A Maximum Entropy Approach to Natural Language Processing》 [6]、 https://www.stat.washington.edu/thompson/S581_04/Notes/chapter_8.pdf [7]、 http://www.ms.uky.edu/~mai/sta709/Owen2005.pdf [8]、 http://statweb.stanford.edu/~owen/empirical/