最大似然估计

1.最大似然估计概念：

最大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

2.引入概念
最大似然估计是建立在最大似然原理的基础之上。最大似然原理的直观理解是：设一个随机试验有若干个可能的结果A1，A2，…，An，在一次试验中，结果Ak出现，则一般认为实验对Ak的出现最有利，即Ak出现的概率较大。这里用到了”概率最大的事件最可能出现”的直观想法，然后对Ak出现的概率公式求极大值，这样便可解未知参数。下面用一个例子说明最大似然估计的思想方法。

假设一个服从离散型分布的总体X,不妨设X-B(4,p)，其中参数p未知.现抽取容量为3的样本，X1,X2,X3,如果出现的样本观测值为1,2,1，此时p的取值如何估计比较合理？注：B(n,p)为二项分布，二项分布指每一次实验只有0和1两个结果，其中n表示实验次数，p表示每次结果为1的概率，概率求解公式为：

考虑这样一个问题，为什么样本结果是1,2,1，而不是另外一组x1,x2,x3呢？设事件A={X1=1,X2=2,X3=1}，事件B={X1=x1，X2=x2，X3=x3}套用公式1.1可以得出：

考虑这样一个问题，为什么样本结果是1,2,1，而不是另外一组x1,x2,x3呢？设事件A={X1=1,X2=2,X3=1}，事件B={X1=x1，X2=x2，X3=x3}套用公式1.1可以得出：

应该让P(A)的取值应该尽可能大。对P(A)进行求导取极值可知，当p=1/3时，P(A)取到最大值，所有有理由认为p=1/3有利于事件A发生，所有p应该取值为1/3比较合理。

3.最大似然估计的定义
最大（极大）似然估计（maximum likelihood estimate )，简称（MLE）：最有可能的情况。（也就是找出与样本分布最接近的概率分布模型）
最大似然估计是需要你寻找确定的参数，使得联合密度最大。
即：给定了一个参数待定的模型（该模型符合伯努利分布（b(1,p)），和一组从该模型中得出的数据。
你需要确定这个参数p，并使该确定参数p后的模型 在所有模型中产生已知数据的联合概率最大L（p）。

图列：



4.最大似然估计的例题

例如：现在有一个密封黑色袋子，里面装有不知道个数的黑白两色球，且不知道黑白球的比例。现在需要你确定黑球与白球的比例？并且你也不可能全部都拿出来数一下，数量太多，会耽误时间。
通常遇到这样的情况，我们就会把袋子里的球摇匀，然后随机去任意抽取一只球出来，有放回的实验。假如你进行试验进行了100次，其中你抽到白球70次。那么袋中白球所占的比例最有可能是多少呢？

解：
由于是独立同分布的，通常我们会计算出：p=70/100=0.7。
其实这样的计算就是最大似然估计的算法了。也就是P=n/N。(n为次数，N为样本空间)
1234567
推导：
设总体分布为f(x,θ)，x1,x2,x3,x4……,xn为该总体样本采样得到的样本。因为x1,x2,x3,x4……,xn独立同分布，于是他们的联合密度函数为：

总结：

我认为目前对我最有用的是在考研必考的一道大题，学习了最大似然估计让我了解到机器学习的最大似然估计只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值，不要把最大似然估计想复杂了。以上的推导只是证明，我们的算法是没有错的。只需要记符合最大似然的条件，它的结果就是P=n/N，会用就行。