一种超松弛的最优传输近似点算法-吴凡
需积分: 0 61 浏览量
2023-04-15
19:50:40
上传
评论
收藏 1.77MB PDF 举报
年
月 重庆师范大学学报
自然科学版
第
卷 第
期
运筹学与控制论
一种超松弛的最优传输近似点算法
吴
凡
刘向阳
河海大学 理学院
南京
摘要
目的
最优传输在实际应用中通常使用
算法求解熵正则化形式得到近似解
考虑
算法 的 效果 容
易受熵正则化参数影响
且难以收敛到最终精确解
提出了一 种 超松 弛 形式 的 近似 点 算法
方法
针 对 原 最 优 传 输 的 近
似点算法
为其中传输计划的迭代计算引入超松弛算子
并给 出 了超 松 弛参 数 计算 方 法
结果
在 保 持 算 法 对 正 则 化 参
数具有鲁棒性及可收敛至精确解的优点的同时
所提算法能 更 快地 收 敛至 精 确解
结论
数值 实 验 表 明
相 较 于 原 近 似
点算法
所提算法进一步提升了收敛速度
在有限的迭代步骤下能够达到更高精度
算法可更好地应用于机器学习
关键词
最优传输
超松弛
近似点算法
熵正则化
矩阵缩放算法
中图分类号
文献标志码
文章编号
最优传输是概率论
偏微分方程和凸优化的活跃交叉研究领域
在讨论两个可分度 量 空间 的 距离 时
最优
传输可从其中定义的任意概率测度角度给出度量方法
由此定义的距离称为
距离
近些年最优传
输在机器学习尤其深度学习中应用广泛
如在生成对抗网络中
通过近似
距离训练 生 成对
抗网络
使训练稳定性和生成样本多样性均显著提升
而
的
损失函数则直接由
距离构成
在自然语言处理领域中
最优传输可用于机器翻译 任 务
在医 学
图像分割领域
王生生等人
将最优传输用于特征选择
而文献
中介绍了更多最优传输的相关应用
然而
最优传输的计算复杂度过高使 得 应 用 一 直 受 限
最优传输问题可 采 用线 性 规划 方 法求 解 精确 解
但计算复杂度为
O
n
近些年来
等人
将计算复杂度改进至
O
n
但计算时间仍难以接受
因此在实
际应用中很少采用此类算法也即线性规划方法进行最优传输问题的求解
第二类算法是最优传输设定 下 的标
准优化算法
包括加速梯度下降法
和拟牛顿法
等
虽然该类算法十分有效
但在近几年才开始兴起
理论分
析仍然有待发展
最后一类且最为 普 遍的 算 法涉 及 到通 过 传输 计 划 对 目 标 函 数 进 行 正 则 化
称 为 熵 正 则 化 方
法
由
提出
熵正则化后的目标函数可通过
矩阵缩放算法
进行求解
之后
国内外学者在
此基础上提出了多种算 法
如
提出 了
算法
它是
算 法 的 贪 婪 形 式
等人
提出了
算法的超松弛形式
能进一步加速
算法的收敛速度
等人
受熵正则化方
法启发提出了一种快速的近似点算法
使用
算法作为内迭代步骤进行传输计划计算的算法
最终算法
能够收敛至精确的最优传输计划
本文提出的算法是对
等人
提出的近似点算法的一种改进
该近似点算法具有能够收敛至最优传输
精确解和对参数选择具有鲁棒性的优点
但实际应用时包括在生成对抗网络等的应用中对算法收敛速度有更高
的要求
在调研了其他
算法的改进算法后
笔者认为该算法的收敛速度有 进 一 步 提 升 的 空 间
这是由
于近似点算法在内迭代步 骤 相 当 于 对 一 个 不 同 形 式 的 熵 正 则 化 最 优 传 输 问 题 求 解
使 用 了
算 法
而
算法的收敛速度相对于超松弛的
算法较慢
因此本文将为该近似点算法的内迭代步骤中传
输计划的计算引入超松弛算子
并给出适应于近似点算法的超松弛参数的计算方法
由此得到超松弛的 近 似点
算法
通过提升内迭代步骤的收敛速度
从而提升整个近似点算法的收敛速度
最后通过理论和实验验证算法
收敛速度是否得到提升
收稿日期
修回 日期
网络 出版时 间
资助 项目
国家自然科学基金
第一 作者简 介
吴凡
男
研究方向为计算最优传输
通信 作 者
刘向 阳
男
副教 授
博士
网络 出版地 址
//
/
/
//
资源评论
茶冻茶茶
- 粉丝: 4190
- 资源: 4
最新资源
- Vue中的计算属性和侦听器有什么区别？经典vue面试题
- 一个Ruby程序示例，它实现了一个简单的电子商务网站后端的基本功能 这个示例包括了用户认证、产品展示、购物车管理以及订单
- AutoSAR COM模块详细介绍
- 后缀表达式求值.zip
- 一个Ruby进阶示例，展示了面向对象编程、模块化、异常处理和文件操作 这个例子中，我们将创建一个简单的博客系统，其中包含文章
- 一个简单的Kotlin程序示例，它演示了基本的函数定义、条件语句和循环的使用
- navicat15安装包
- AutoSAR-CP架构介绍
- 编程实战项目：基于asp.net技术的高校网上教材征订系统的设计与实现(含源代码)
- 创建一个简单的Fortran的例子程序，用于管理一个图书馆的图书信息
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
