1 基于下界函数的最优化这样一种优化思路-德赢Vwin官网网

搜索历史

清空

搜索热词

0

聊天消息
系统消息
评论与回复

查看更多

查看更多

查看更多

VIP于到期续费

登录后你可以

下载海量资料
学习在线课程
观看技术视频
写文章/发帖/加入社区

会员中心

创作中心

发布

创作活动

完善资料让更多小伙伴认识你，还能领取20积分哦，立即完善>

3天内不再提示

基于下界函数的最优化这样一种优化思路

导读：生活中我们处处面临最优化的问题，比如，怎么样一个月减掉的体重最高？怎么样学习效率最高？怎么样可以最大化实现个人价值？

显然，每一个目标都受很多因素的影响，我们称之为目标函数的最优化。

优化的思路有很多种，比如基于梯度的梯度下降，基于二阶梯度的牛顿法，基于近似的二阶梯度的拟牛顿法，基于下界函数的最优化，贪婪算法，坐标下降法，将约束条件转移到目标函数的拉格朗日乘子法等等。

本文我们讨论一下基于下界函数的最优化，且将讨论的范围限定为无约束条件的凸优化。

基于下界函数的优化

在有些情况下，我们知道目标函数的表达形式，但因为目标函数形式复杂不方便对变量直接求导。这个时候可以尝试找到目标函数的一个下界函数，通过对下界函数的优化，来逐步的优化目标函数。

上面的描述性推导很是抽象，下面我们来看两个具体的例子，EM算法和改进的迭代尺度法。限于篇幅，我们重点推导EM算法，改进的迭代尺度法只是提及一下。

EM算法

改进迭代算法

概率模型中最大熵模型的训练，最早用的是通用迭代法GIS(Generalized Iterative Scaling)。GIS的原理很简单，大致包括以下步骤：

假定初始模型（第0次迭代）为等概率的均匀分布。

用第k次迭代的模型来估算每种信息特征在训练数据中的分布，如果超过了实际的，就把相应的模型参数变小；反之，将参数变大。

重复步骤2，直到收敛。

GIS算法，本质上就是一种EM算法，原理简单步骤清晰，但问题是收敛太慢了。Della Pietra兄弟在1996年对GIS进行了改进，提出了IIS(Improved Iterative Scaling)算法。IIS利用log函数的性质，以及指数函数的凸性，对目标函数进行了两次缩放，来求解下界函数。详情可参阅李航的《统计学习方法》一书。

小结

本文讨论了一下基于下界函数的最优化这样一种优化思路，希望对大家有所帮助。同时也一如既往地欢迎批评指正，以及大神拍砖。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

算法

算法

+关注

关注
23

文章
4607

浏览量
92821
函数

函数

+关注

关注
3

文章
4327

浏览量
62567

原文标题：优化思路千万种，基于下界函数的最优化效率如何？

文章出处：【微信号：rgznai100，微信公众号：rgznai100】欢迎添加关注！文章转载请注明出处。

评论

相关推荐

一种基于经优化算法优化过的神经网络设计FIR滤波器的方法介绍

最小，其次再使用模拟退火算法，以最小阻带衰减为评价函数优化网络权值，使最后的结果朝着最优值靠近。由该方法设计的滤波器，通带和阻带范围无过冲、无波动，且阻带的衰减高，初始条件随机给定，算法速度快，因而是

发表于 07-08 07:16

labview数据的组合排序最优化

写了一个labview数据的组合排序最优化程序我们假设有不同数据的尺寸1000个，现在给出假设1000mm长度，怎样用这1000个数据尺寸去排列组合得到一组数据是最化的，那么1000组数据1000*999*998....*2*1

发表于 08-13 20:25

粒子群算法城镇能源优化调度问题

粒子群算法城镇能源优化调度问题，一、简介1 粒子群算法的概念粒子群优化算法(PSO：Particle swarm optimization) 是一种进化计算技术（evolutionar

发表于 07-07 06:04

一种求解非线性约束优化全局最优的新方法

本文提出了一种求解非线性约束优化的全局最优的新方法—它是基于利用非线性互补函数和不断增加新的约束来重复解库恩-塔克条件的非线性方程组的新方法。因为库恩-塔克条

发表于 08-11 10:53 •16次下载

一种解决函数优化问题的免疫算法

一种解决函数优化问题的免疫算法:介绍了免疫算法的基本概念，以及人工免疫系统中的克隆选择原理，基于该原理，结合遗传策略中的高斯变异算子，提出一种免疫算法来解决

发表于 11-08 16:47 •14次下载

Matlab最优化方法

介绍最优化方法，其中包括网络最大流，指派问题，运输问题，最短路，关键路线法，以及二部图的匹配问题。其使用方法有别于传统方法，而是利用MATLAB构造多个自编函数，使所述问

发表于 11-30 16:41 •0次下载

Matlab<b class='flag-5'>最优化</b>方法

一种具有全局快速寻优的多学科协同优化方法

针对协同优化算法迭代次数多、易收敛于局部极值点问题，提出一种全局快速寻优的协同优化算法。在系统级一致性等式约束中采用改进后松弛因子，改进动态松弛因子使

发表于 11-17 15:01 •3次下载

<b class='flag-5'>一种</b>具有全局快速寻优的多学科协同<b class='flag-5'>优化</b>方法

一种改进的协同优化算法

针对协同优化过程对初始点敏感以及容易陷入局部最优点的问题，提出了一种改进的协同优化算法。改进后的协同优化算法综合考虑学科级

发表于 11-24 14:46 •1次下载

一种小生境灰狼优化算法

灰狼优化算法（Grey Wolf Optimizer，GWO）是一种模拟灰狼捕食行为的群体智能算法，该算法最先由澳大利亚学者Mirjalili于2014年提出，根据灰狼的社会等级将包围、追捕、攻击

发表于 11-28 10:32 •2次下载

<b class='flag-5'>一种</b>小生境灰狼<b class='flag-5'>优化</b>算法

一种语义规则为指导的增量优化方法

为核心思路的增量分析技术。存在用户透明性不佳、对历史结果存储位置的选择不够智能化等问题，对周期性增量查询的优化效果有限，从兼顾用户透明性和优化收益的角度出发。设计了一种以语义规则为指导

发表于 12-27 11:24 •0次下载

<b class='flag-5'>一种</b>语义规则为指导的增量<b class='flag-5'>优化</b>方法

一种改进灰狼优化算法的用于求解约束优化问题

针对基本灰狼优化（ GWO）算法存在求解精度低、收敛速度慢、局部搜索能力差的问题，提出一种改进灰狼优化（IGWO）算法用于求解约束优化问题。该算法采用非固定多段映射罚

发表于 01-04 15:59 •0次下载

<b class='flag-5'>一种</b>改进灰狼<b class='flag-5'>优化</b>算法的用于求解约束<b class='flag-5'>优化</b>问题

探析常见的几种最优化方法

最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。

的头像

发表于 01-17 09:25 •2689次阅读

探析常见的几种<b class='flag-5'>最优化</b>方法

一种线性插值随机对偶平均优化方法

样本不满足独立同分布会使梯度估计在迭代过程中存在偏差，且最优的个体收敛界在噪声的干扰下无法确定。为此，提出一种线性插值随机对偶平均（DA）优化方法。给出DA方法收敛性的证明，在梯度估计有偏的基础上

发表于 05-25 16:20 •4次下载

一种微电网分布式神经动力学优化算法

针对微电网多目标优化计算量较大的问题，提出了一种考虑需求响应的微电网分布式神经动力学优化算法。首先考虑平均效率函数、微电网的排放、需求响应引起的不满意度以及总利润

发表于 05-31 14:21 •4次下载

FPGA设计如何最优化

这是笔者去年某个时间节点的感悟，由于工作繁忙，写完后搁置一边了。而对于“设计最优化”这个议题，笔者也一直深感功力不够，不敢多做阐释。但是，不管怎样，若能每隔几年都好好做些反思回顾，让自己

的头像

发表于 06-25 15:46 •698次阅读