这6点帮你解决参数未知的重要问题 | AI知识科普

2018-8-10 11:47:27 3070 科大讯飞人工智能数学最大似然估计模型

0 班主任发现，经常有许多对人工智能领域跃跃欲试的小伙伴在后台发私信问我“怎样快速入门人工智能呢？” 对于这样的问题，班主任我又要“老生常谈”了——作为一门庞大而又繁杂的综合学科，学习的过程一定需要逐步理解、逐层深入。一蹴而就是不可能的。今天，班主任就给你们讲一个在机器学习中重要的方法——极大似然估计。这是一个，能够让你拥有拟合最大盈利函数模型的估计方法哦！ 01现实意义在机器学习中，我们经常会使用一个模型来描述生成数据的过程。例如，我们可以使用一个随机森林模型来分类客户是否会取消订阅服务（流失建模）；又或者我们可以用线性模型，再根据公司的广告支出来预测公司的收入（线性回归）。每个模型都包含自己的一组参数，这些参数最终决定了模型本身。也就是只有将参数选定为特定值时，才能得到描述当前现象的模型实例。 02原理极大似然估计则为以上情况提供了一种给定观察数据来评估模型参数的方法，即：模型已定，参数未知。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。 03定义设整体分布为f（x,θ），X1，X2，X3···Xn为该总体采样得到的样本。因为X1，X2，X3···Xn独立同分布，于是，它们的联合密度函数为：此时，θ被看作固定但未知的参数，而样本是已经抽取存在的，可以将X1，X2，X3···Xn看作是固定的。那么，L（x,θ）就是关于θ的函数，即似然函数。而求参数θ的值，使得似然函数取极大值的方法就是极大似然估计。 04求解方法对似然函数求导，得到对数似然函数。若对数似然函数可导，则可以通过求导的方式，解下列方程组，得到驻点，然后分析该驻点是极大值点： 05几种常见分布的极大似然估计 1.二项分布已知10次抛硬币的结果如下：正正反正正正反反正正设p是抛到正面的结果的概率，则得到这一实验结果的概率为对该式子求导，得到最优解为0.7。 2.均匀分布设样本服从均匀分布[a, b]。则X的概率密度函数为根据最大似然函数的公式L（x,θ），得到对于很显然，L(a,b)作为a和b的二元函数是不连续的，这时不能用导数来求解。而必须从极大似然估计的定义出发，求L(a,b)的最大值。为使L(a,b)达到最大，b-a应该尽可能地小，但b又不能小于，否则L(a,b)=0。类似的，a不能大过，因此，a和b的极大似然估计： 3.高斯分布（正态分布）若给定一组样本X1，X2，X3···Xn，已知它们来自于高斯分布根据最大似然函数的公式L（x,θ），以及高斯分布的概率密度将Xi的样本值xi带入，得到进行化简即再对求偏导，得到可以看出，上述结论和矩估计的结果是一致的，并且意义非常直观：样本的均值及高斯分布的均值，样本的伪方差即高斯分布的方差。该结论将在期望最大化算法、GMM高斯混合模型中继续使用。求最大似然估计量的一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（3）求导数；（4）解似然方程。 06极大似然估计的特点 1.比其他估计方法更加简单； 2.收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；最大似然估计和贝叶斯估计听到这里，许多同学可能会想起另一种估计方法——贝叶斯估计，即以贝叶斯公式为基础的估计方法：实际的模式识别问题中，我们应如何选择使用哪种模型呢？下面简单分析一下：（1）在先验概率能保证问题有解的情况下，最大似然估计和贝叶斯估计在训练样本趋近于无穷时得到的结果是一样的。（2）最大似然估计的计算复杂度比贝叶斯估计小得多，只需要使用到简单的微分运算即可，而在贝叶斯估计中则需要用到非常复杂的多重积分。此外，贝叶斯估计相对来说也更难理解。（3）当采用的样本数据很有限时，贝叶斯估计误差更小，毕竟在理论上，贝叶斯估计有很强的理论和算法基础。好啦~今天的课程就到这里了。同学们有不清楚的地方，都可以在后台给班主任提问留言哦~ 1
2018-8-10 11:47:27　　评论淘帖0 举报相关推荐 • 基于微电子器件应用中的几个重要问题 21 • 微电子器件应用中的几个重要问题 11 • DAC接口基本原理与重要问题解答 6028 • 电路保护器件的重要问题资料下载 10 • 影响光伏组件功率的重要问题——热斑效应 1612 • 无线传感和监控解决了水塔运行的重要问题 801 • 学习FPGA需要注意的几个重要问题 1043 • 嵌入式系统设计需考虑哪些重要问题 4858 • 安装调试变频器应注意的几个重要问题 35 • 示波器知识点科普 3579