求解逻辑回归问题的多层邻近拟牛顿算法.docx
版权申诉
38 浏览量
2022-12-15
14:18:27
上传
评论
收藏 343KB DOCX 举报
逻辑回归是一种广义的线性回归分析模型，主要用于求解二分类问题，而 l
1
正则化逻
辑回归是具有稀疏约束的经典逻辑回归模型。l
1
正则化逻辑回归模型通常表示为光滑凸函
数与非光滑凸函数的和。逻辑回归问题的数学模型可表示为
minx∈Rn(F(x):=f(x)+λ‖x‖1),
(1)
其中：
f(x)=1N∑i=1Nlog(1+exp(−biaiTx))
为平均逻辑损失函数；λ‖x‖
1
为 l
1
正则化函数，λ>0。该问题的输入数据是一个训练数
据点集(a
i
, b
i
)∈ R
n
×{－1, 1}, i=1, 2, …, N, a
i
为特征向量，b
i
为对应的标签，N>0。由于问题
(1)中的 l
1
正则项可以产生稀疏解，从而在高维数据处理中占有显著优势，成为近年来研究
的热点。
逻辑回归问题在深度学习
[1]
、生物信息学
[2]
和神经网络
[3]
等方面有广泛的应用，因此研
究该问题具有很好的实际意义。目前求解逻辑回归问题的算法有很多，如快速迭代收缩阈
值算法
[4]
、邻近拟牛顿算法
[5]
、交替方向乘子法
[6]
、随机坐标下降算法
[7]
等, 其中邻近拟牛顿
算法是求解复合凸优化问题的一类重要方法。Becker 等
[8]
利用对偶问题的分段线性性质近
似计算邻近算子，并将该算法应用在信号处理、稀疏恢复、机器学习和数据分类等方面。
文献[9]提出一种邻近拟牛顿算法，其中 Hessian 矩阵采用一种特殊的取法, 该算法所提出
的结构能够有效计算邻近算子，并应用于正则化最小二乘问题。Zhong 等
[10]
证明了即使在
无强凸性的假设条件下，非精确邻近拟牛顿算法也超线性收敛。在相关数值实验中，该算
法在序列标记和层次分类问题上的收敛速度比目前现有的算法要快得多。文献[11]提出一
种非精确邻近拟牛顿算法，并建立了次线性全局收敛速度，在目标函数为强凸的情况下，
分析了该算法在精确和非精确情况下的收敛性。文献[12]对非精确连续二次逼近算法的迭
代复杂度进行了全局分析，结果表明，在一定的精度条件下，非精确解足以保证收敛速度
与精确解相同。
多层优化算法在近年来有许多发展和应用
[13-14]
。多层算法起源于偏微分方程数值解中
的多重网格算法，它使用低维(不一定是二次)模型的解来计算搜索方向，因低维模型不但
是原模型的低保真度模型，而且其构造方式与高保真模型一致，其共同点都是求解一个低
保真度模型，然后将其解作为高保真度模型的初始点。对于大规模问题，Parpas 等
[13]
提出
一种多层邻近梯度算法来求解复合优化问题，并给出该算法的收敛性和收敛速度分析。
Nash 等
[15]
利用子问题之间的相似结构，使用较小子问题的解决方案来加速更大、更精细的
子问题，进一步发展了一类多重网格算法，即多重网格加速非线性规划算法。文献[16]提
出一种求解一般无约束无限维优化问题离散化解的多网格线性搜索算法，在每层的每次迭
代中，计算当前层上的直接搜索方向，或从较粗糙层模型中计算递归搜索方向。Braess 等
[17]
提出一种求解无限维凸优化问题的多层算法，随后由 Nash 再进一步发展。
资源评论
罗伯特之技术屋
- 粉丝: 3549
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
VIP享7折，此内容立减5.97元 开通VIP
