没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
141页
随着互联网的飞速发展与广泛普及,网络入侵的种类和数量同样与日俱增,入侵检测作为计算机系统和网络安全领域的重要组成部分,已经成为当今信息时代的研究热点。然而,传统的入侵检测技术已经难以完成越来越复杂的入侵检测任务,传统的防火墙、用户认证以及数据加密技术,在一定程度上不仅缺乏检测入侵的智能,而且检测效率也较低。因此,我们需要将更智能更高效的技术应用于入侵检测中。 机器学习作为人工智能的核心,是赋予计算机智能的根本途径。机器学习模 拟人类的学习行为,能够通过学习已有的知识并重新组织已有的知识结构来不断 改善自身的学习能力,从而更高效地学习新的知识。在如今的大数据时代,机器 学习应用在人工智能的各个领域,计算机安全领域当然也不例外。入侵检测的本 质是一个分类问题,而机器学习能较好地完成各种分类任务。本文首先通过将机 器学习应用到入侵检测技术中,评估了各类机器学习算法在入侵检测中的效果; 在此基础上,通过研究各种机器学习算法在入侵检测中所展现的优势和缺陷,提 出了对应的改进模型和优化方法;最后对入侵的一种广泛而普遍的具体存在方式 恶意软件进行了全面而深入的研究。本文的主要研究内容和创新
资源详情
资源评论
资源推荐
摘 要
I
摘 要
基于机器学习的入侵检测技术研究
随着互联网的飞速发展与广泛普及,网络入侵的种类和数量同样与日俱增,
入侵检测作为计算机系统和网络安全领域的重要组成部分,已经成为当今信息时
代的研究热点。然而,传统的入侵检测技术已经难以完成越来越复杂的入侵检测
任务,传统的防火墙、用户认证以及数据加密技术,在一定程度上不仅缺乏检测
入侵的智能,而且检测效率也较低。因此,我们需要将更智能更高效的技术应用
于入侵检测中。
机器学习作为人工智能的核心,是赋予计算机智能的根本途径。机器学习模
拟人类的学习行为,能够通过学习已有的知识并重新组织已有的知识结构来不断
改善自身的学习能力,从而更高效地学习新的知识。在如今的大数据时代,机器
学习应用在人工智能的各个领域,计算机安全领域当然也不例外。入侵检测的本
质是一个分类问题,而机器学习能较好地完成各种分类任务。本文首先通过将机
器学习应用到入侵检测技术中,评估了各类机器学习算法在入侵检测中的效果;
在此基础上,通过研究各种机器学习算法在入侵检测中所展现的优势和缺陷,提
出了对应的改进模型和优化方法;最后对入侵的一种广泛而普遍的具体存在方式
——恶意软件进行了全面而深入的研究。本文的主要研究内容和创新成果包括:
(1)通过分析入侵数据的来源及特点,构建了以机器学习算法为检测方法的
入侵检测模型,具体分为数据生成、数据提取、数据分类和性能测试四个阶段。
首先本文研究了有监督和无监督学习算法,包括最近邻、支撑向量机、朴素贝叶
斯、决策树、神经网络以及 K-means 算法等,针对基准入侵数据集的特点提出了
相应的改进算法;然后采用基准入侵检测数据集 NSL-KDD 分别对两种类型算法进
行训练,为不同算法选取了合适的参数建立学习模型,完成了二分类入侵检测和
多分类入侵检测任务;最后根据性能指标对有监督和无监督学习算法的入侵检测
效果进行了评估。
(2)针对 NSL-KDD 数据集中存在的特征冗余问题,本文提出了一种基于梯
吉林大学博士学位论文
II
度下降树不同粒度特征的入侵检测算法。利用 GBDT 进行特征组合,结合 KNN 分
类器对 GBDT-KNN 算法的入侵检测效果进行了实验,实验结果表明 GBDT-KNN
算法的入侵检测效果显著优于单一 KNN 算法,而且对比其他单一机器学习算法均
具备更好的性能。
(3)针对入侵检测技术的适应性和泛化能力问题,本文提出了一种基于深度
学习模型的入侵检测算法。采用卷积神经网络模型提取数据特征,将输入神经网
络模型的数据集转换成为二维数据集合,通过 CNN 模型提取特征图。本文利用
CNN 中图像处理的思维方式,与 SVM 分类器相结合,对 CNN-SVM 算法的入侵
检测效果进行了实验,实验结果表明 CNN-SVM 算法具有比传统机器学习算法更
高的检测率,具有比基于特征工程的算法更好的适应性和泛化能力。
(4)本文研究了基于集成学习方法的入侵检测技术,针对集成学习模型生成
困难的问题,提出了基于多层感知器神经网络和 AMGA2 算法的集成学习优化方
法。首先根据前文实验得到的机器学习算法入侵检测效果评估,本文选中了表现
较好的多层感知器神经网络作为集成学习中的弱分类器,采用 MLP 构建了用于入
侵检测的集成学习模型;然后分别以 MLP 和基于 Boosting 和 Bagging 的 MLP 集
成方法作为基准算法实施对比实验;最后根据性能指标对本文提出的集成学习优
化方法的入侵检测效果进行评估。实验结果表明,本文提出的集成学习优化方法
比原始的 MLP 方法、Boosted-MLP 集成方法和 Bagged-MLP 集成方法都要好,与
现有的集成方法相比,可以更好地优化弱分类器中的权值。本文提出的方法可以
成为解决集成学习中多目标冲突,训练更好的集成学习模型的通用方法。
(5)基于前文提出的研究技术,本文针对恶意软件检测的应用问题展开了研
究。本文基于杜鹃沙盒与 WEKA 机器学习软件构建了一套完整的恶意软件检测流
程,采用更多种类的机器学习算法用于真实环境中恶意软件的检测。实验结果表
明,IBk 和 J48 这两种算法检测效果较好,从而能够在构建动态恶意软件检测系统
时,采用它们作为检测未知恶意软件的候选技术,也能够作为构建基于集成学习
的恶意软件检测系统的弱分类器。本文实验结果对于今后恶意软件检测中的应用
具备一定的指导作用和实用价值。
关键词:
机器学习,入侵检测,有监督学习,无监督学习,深度学习,集成学习,恶
意软件检测
目 录
VII
目 录
摘 要........................................................................................................................ I
Abstract ........................................................................................................................ III
目 录.................................................................................................................... VII
第 1 章 绪论................................................................................................................ 1
1.1 研究背景与意义............................................................................................ 1
1.2 国内外研究现状............................................................................................ 4
1.2.1 入侵检测的诞生.................................................................................. 5
1.2.2 入侵检测的发展.................................................................................. 6
1.2.3 入侵检测的研究现状.......................................................................... 8
1.2.4 机器学习模型在入侵检测方面的研究现状...................................... 9
1.3 论文研究内容.............................................................................................. 10
1.4 论文组织结构.............................................................................................. 12
第 2 章 入侵检测和机器学习算法.......................................................................... 14
2.1 机器学习基本概念...................................................................................... 14
2.2 入侵数据的来源和特点.............................................................................. 16
2.2.1 入侵类别............................................................................................ 16
2.2.2 数据来源............................................................................................ 17
2.2.3 拟采用的数据集................................................................................ 21
2.3 基于机器学习的入侵检测模型.................................................................. 21
2.4 入侵检测系统的机器学习算法.................................................................. 24
2.4.1 基于有监督学习的入侵检测............................................................ 24
2.4.2 基于无监督学习的入侵检测............................................................ 48
2.5 本章小结...................................................................................................... 59
第 3 章 基于梯度下降树不同粒度特征的入侵检测.............................................. 60
3.1 GBDT ........................................................................................................... 60
3.2 特征工程...................................................................................................... 61
3.2.1 数据生成阶段.................................................................................... 61
3.2.2 数据提取阶段.................................................................................... 62
3.3 GBDT 特征构造原理 .................................................................................. 63
3.4 基于 NSL-KDD 的 GBDT 特征构造 ......................................................... 64
3.4.1 数据整理............................................................................................ 64
3.4.2 GBDT 的训练过程 ............................................................................ 65
3.4.3 特征分析与提取................................................................................ 66
3.5 基于 GBDT 不同粒度特征的入侵检测 ..................................................... 68
3.6 本章小结...................................................................................................... 71
第 4 章 基于深度学习模型的入侵检测.................................................................. 72
4.1 CNN 深度学习模型结构 ............................................................................ 72
4.2 数据特征分析.............................................................................................. 75
4.3 基于深度学习模型提取特征...................................................................... 75
吉林大学博士学位论文
VIII
4.4 基于 CNN 的入侵检测模型总体设计 ....................................................... 76
4.5 实验.............................................................................................................. 77
4.5.1 数据生成阶段.................................................................................... 77
4.5.2 数据提取阶段.................................................................................... 84
4.5.3 数据分类阶段和性能测试阶段........................................................ 85
4.6 本章小结...................................................................................................... 87
第 5 章 基于集成学习的入侵检测.......................................................................... 88
5.1 引言.............................................................................................................. 88
5.2 集成学习基本概念...................................................................................... 88
5.3 集成学习的理论基础和分类...................................................................... 89
5.4 Boosting 与 Adaboost .................................................................................. 90
5.5 Bagging 与随机森林 ................................................................................... 92
5.6 集成学习优化方法...................................................................................... 94
5.6.1 遗传算法............................................................................................ 94
5.6.2 改进的遗传算法................................................................................ 96
5.7 实验.............................................................................................................. 97
5.7.1 数据集和性能评价指标.................................................................... 97
5.7.2 模型实现细节.................................................................................... 98
5.7.3 实验结果与分析.............................................................................. 101
5.8 本章小结.................................................................................................... 107
第 6 章 基于机器学习的恶意软件检测应用........................................................ 108
6.1 引言............................................................................................................ 108
6.2 恶意软件检测............................................................................................ 108
6.3 恶意软件检测过程.................................................................................... 109
6.3.1 数据收集阶段.................................................................................. 111
6.3.2 数据提取阶段.................................................................................. 111
6.3.3 数据分类阶段.................................................................................. 114
6.3.4 性能测试阶段.................................................................................. 114
6.4 实验............................................................................................................ 115
6.4.1 性能评价指标.................................................................................. 115
6.4.2 数据集.............................................................................................. 116
6.4.3 实验结果与分析.............................................................................. 117
6.5 本章小结.................................................................................................... 123
第 7 章 总结与展望................................................................................................ 124
7.1 本文总结.................................................................................................... 124
7.2 未来工作展望............................................................................................ 125
参考文献.................................................................................................................... 126
作者简介及在学期间所取得的科研成果................................................................ 138
致 谢.................................................................................................................... 139
第 1 章 绪论
1
第 1 章 绪论
1.1 研究背景与意义
随着互联网的飞速发展和各种电子设备的广泛普及,人们可以随时随地轻易
获取丰富的在线服务和资源。2019 年 6 月 12 日由“网络女皇”玛丽·米克尔发布
的年度互联网趋势报告显示,全球目前约有 51%的人(38 亿人)是互联网用户,而
在我国,截止到 2018 年 12 月互联网用户约为 8.3 亿,互联网普及率高达 59.6%。
与此同时,在以支付宝、微信支付为代表的移动支付领域和以抖音、快手为代表
的短视频等领域的应用上我国已经领先全球。由此可见,中国的互联网市场发展
尤为迅速,人们每天通过计算机、手机、平板电脑等设备连接到互联网,进行着
社交、娱乐、购物、浏览信息、下载资源等活动,享受着互联网带来的服务和资
源。然而,互联网为人们带来极大便利的同时,危险也随之而来。不法分子利用
网络的配置错误,软件漏洞以及各种入侵工具试图破坏网络安全以谋取私利,使
人们遭受数据、金钱、时间上的损失以及法律风险。网络安全问题愈发成为全球
关注的严重问题,端口扫描、拒绝服务、利用恶意软件远程攻击等多种网络入侵
行为已经严重威胁到了网络世界的安全。图 1.1 显示了权威反恶意软件测试机构
(https://www.av-test.org)统计的近十年恶意软件数量增长趋势;图 1.2 和图 1.3
分别显示了过去两年世界上重要的数据中心经历的宕机时间和近四年安全漏洞
中暴露的敏感记录
[1]
。
在我国的国防信息安全领域,由于美国掌握着计算机硬件、软件、操作系统、
网络协议等核心技术,导致其他国家的信息系统时时刻刻都在遭受着威胁。近年
来,我国某些重要组织机构也遭遇了一些黑客入侵事件,因此网络安全问题对于
我国来说显得尤其重要。为了对抗各种网络攻击,关于网络安全新技术的研究也
在不断发展,包括密码学技术、虚拟网技术、防火墙技术、用户身份认证技术、
数据加密技术等。然而,这些技术普遍具有被动防护的特点,只能在自己的角度
和层次上根据已有经验防范已知的威胁,在防范领域上存在着局限性。实践证明,
当今网络威胁的复杂性和多样性使得仅仅依靠防火墙和身份认证等技术已不足
剩余140页未读,继续阅读
「已注销」
- 粉丝: 800
- 资源: 3612
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论14