第55卷第4期
2 0 1 5年7月
大连理工大学学报
Journal of Dalian University of Technology
Vol. 55, No. 4
July 2 0 1 5
文章编号：1000-8608(2015)04-0436-06
组合惩罚似然估计下发散参数变量选择
董 莹\ 宋立新华志强2’3
( 1 . 大连民族大学理学院.辽宁大连 116600;
2.大连理工大学数学科学学院，辽 宁 大 连 116024;
3 .内蒙古民族大学数学学院. 内 蒙 古 通 辽 028000 )
摘要：在 Wang等给出的组合
惩
罚函数的基础之上.将 SCAD
惩
罚部分推广到一 般的非凸
惩
罚的形式.利用岭回归在解释变量相关度较高情形下的良好表现.提出一种推广了的组合
惩罚. 在参数个数发散的情形之下.利用贝叶斯信息准则（BIC)来选择调整参数.能同时完成
变量选择和参数估计. 而且还可以证明在合适的条件之下.这种估计具有Oracle性质.模拟
研究的结果证明了所提出的方法在预测变量具有强相关性之下的优势.
关键词：组合惩罚；贝叶斯信息准则(BIC);变量选择；惩罚极大似然怙计
中图分类号：0212 文献标识码：A doi：10. 7511/dllgxb201504016
0 引言
变量选择是处理高维数据的主要手段.对模
型自变量的选择做一些理论分析，得到合理而简
洁的模型对于提高所研究问题的效率和精度是至
关重要的.大部分问题中在构造模型时，所能提出
的解释变量之间多数是具有很高的相关性的，特
别是在具有很多变量参与即高维的问题下，比如
经济领域以及生物基因的描述等领域尤为多见.
一般来说，即使是独立的预测因子，只要维度足够
高，协变量之间就具有很高的相关性.因此对于高
维数据应更为关注共线性问题.岭回归在解释变
量相关度较高的情形下表现很好，Z o u 等1 提出
了 Enet方法，该方法是将Lasso和岭回归组合在
一起构成的一种惩罚.文献[2]在其基础之上提出
了 Adaptive-Enet，它给出了
一
个能够满足Oracle
性质的充分条件.非凸惩罚门限估计具有很好的
Oracle性质，W ^ n g 等[1:结合线性回归模型提出
了 一 个 新 的 组 合 惩 罚 （combined penalization,
CP).这一惩罚将S C A D 和岭回归组合在了一起，
组合后的惩罚可以用来处理解释变量相关度较高
的情况.
当今，随着科技的发展和对庞大数据集的研
究，比如对基因描述数据和对历史金融数据的讨
论 ，越来越呈现出了高维大样本数据的显著特征.
因此对高维数据进行分析越来越频繁和必要.
Fa n等[(探讨了维数发散的非凸惩罚似然函数，
其中维数
p,
随着样本个数
n
的增大而增大，但是
P n
的发散速度小于
n
.随后许多文献都集中于讨
论参数个数发散的问题[二 12:. 本文 推 广 Wang
等[(的惩罚形式中的S C A D 部分到
一
般的非凸
惩罚的形式上，并且探讨参数个数发散的情形.同
时由于交叉核实法(cross-validation，C V )在算法
上的障碍，应用贝叶斯信息准则(BIC)来选择调
整参数，此处不同于W a n g 等[( 所应用的方法.同
时证明在协变量具有高度相关关系的情形之下，
参数个数发散的组合惩罚模型能同时完成变量选
择和参数估计的工作.
1 参数个数发散的组合惩罚似然估计
观察值 U» = (X.-.YiXi = l ，".，n)是独立
同分布的随机变量，概率密度函数为
f H 、.
n
L„(0„) = (1)
i
1
收稿曰期:2014-12-09；修回日期：2015-06-03.
基金项目：国家自然科学基金青年基金资助项目（11101062);国家自然科学基金资助项目（11371077,61175041);中央高校基本科
研业务费专项资金资助项目（DUT12LK29);大连民族学院自主科研基金资助项目（DC]20101115).
作者简介：董 莖 (1980-)，女，博士，讲师，E mail ：dons>ing@dlnu. edu. cn丨宋立新"(1966-)，男 ，教授，博士生导师，E-rmil ： lxsong@dlut. edu. ca
资源评论
weixin_38698539
- 粉丝: 7
- 资源: 948
最新资源
- 基于Java语言的23种设计模式学习与实践源码
- 基于Python和JavaScript的WordPress拍卖信息抓取与上传设计源码
- 基于Python的大二下学期Python编程课程作业设计源码
- javascript-Compression.rar
- javascript-Ciphers.rar
- 基于Kotlin与Java语言的LittlePainter绘画应用设计源码
- javascript-Cellular-Automata.rar
- 基于Java技术的社团管理系统生产实习项目源码设计
- 基于Python、Vue、JavaScript、HTML、CSS的多语言交互式day003项目设计源码
- 基于Java和HTML技术的Airfly机票价格分析系统设计源码
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
