没有合适的资源?快使用搜索试试~ 我知道了~
基于Hadoop架构的混合型DDoS攻击分布式检测系统.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 29 浏览量
2022-06-17
16:12:41
上传
评论 1
收藏 490KB DOCX 举报
温馨提示
试读
16页
基于Hadoop架构的混合型DDoS攻击分布式检测系统.docx
资源推荐
资源详情
资源评论
0 引言
数据量的急速增长,使得大数据背景下的网络服务保护问题进一步受到重视,
如何防范日益严峻的 DDoS 攻击成为信息安全领域的重要课题之一。随着物联
网技术的发展,网络设备数量急剧增长,智能电视、冰箱、微波炉、洗衣机、门禁
等都可能成为 DDoS 攻击的利用对象,从而引发更大规模的攻击。传统的基于主
机检测的解决方案需要消耗大量本地防护资源,难以针对海量数据开展实时检测,
单点故障也极易造成整个检测系统崩溃。
随着网络流量的爆炸式增长,恶意网络入侵行为日益猖獗,DDoS 攻击一直是
全球互联网安全的重要威胁之一
[1]
。对于复杂的混合型 DDoS 攻击,本地部署的
普通检测防护设备往往无法应对,增加硬件产品又会提高成本,因此具有强扩展性
的分布式技术成为构建低成本 DDoS 防御体系的选择之一。分布式系统中的节
点通过通信网络连接,相互使用彼此的资源,提供了良好的计算基础,特别适合性能
拓展;特定任务可以被分解为若干子任务,通过子节点并行运行子任务加快计算速
度,子任务多步式执行,在提高效率的同时保证了良好的容错性能。已有的基于分
布式系统检测 DDoS 攻击的研究多针对离线数据,难以移植应用于实时防御;在线
检测研究则普遍利用简单的计数检测算法 ,未将 DDoS 数据报文自身特点纳入考
量范畴,忽视了 DDoS 攻击的本质特征,容易造成误报漏报。
近年,攻击者为实现预期目标不再使用单一攻击手段,而是根据目标系统具体
环境灵活组合,发动多种攻击手段
[2]
,既具备了海量流量,又利用了协议、系统缺陷,
尽其所能地展开攻击。被攻击目标需要面对不同协议、不同资源的分布式攻击 ,
分析 、响应 、处 理的成 本随之 增加 。为 解决 这些 问题 , 本 文基于 分布 式架构
Hadoop 设计并实现了一种混合型 DDoS 攻击分布式检测系统
[3]
,该系统可利用低
端设备实时有效识别此类攻击。作为开源分布式集群平台 ,Hadoop 主要由分布
式文件系统 HDFS 与编程模型 MapReduce 构成
[4]
,其中,HDFS 文件系统包括进
行文件管理的 NameNode 模块、进行文件存储的 DataNode 模块以及进行文件
获取的 Client 模块,MapReduce 包括进行任务分解的 Map 模块和进行结果汇总
的 Reduce 模块。该系统利用 HDFS 在各检测节点间分享攻击数据日志,通过
MapReduce 完 成 分 布 式 分 析 计 算 。 本 文 重 点 针 对 流 量 攻 击 中 的 TCP
Flood、UDP Flood
[5]
,应用层攻击中的 HTTP Flood,协议攻击中的 ICMP 畸形包
[6]
等利用不同层次协议的混合型 DDoS 攻击,采用融合检测算法进行入侵检测。
Hadoop 核心架构如图 1 所示。
图 1
图 1Hadoop 核心架构
1 基于 Hadoop 的分布式检测系统架构
传统的基于本地主机系统
[7]
的入侵检测通常分为事件产生、事件分析及后续
响应等阶段。但对于分布式检测系统
[8]
来说,由于数据分布在数据集群中的多个节
点,需要增加数据存储分配环节。为此,本文着重从数据的获取、传输、存储、计
算、检测结果等层次设计检测系统架构。
1.1 网络流量获取与监听日志传输
图 2
图 2网络流量获取与监听日志传输过程
1.2 监听日志的存储与检测
成功上传至 HDFS 的数据可供集群中的主、从节点计算使用 ,主节点通过集
群中央管理器将输入的监听日志分为大小相同的数据块
[9]
。Map 和 Reduce 属于
MapReduce
[10]
运 行 的 两 个 阶 段 , 本 文 使 用 的 检 测 算 法 基 于 该 模 型 编 写 。 在
MapReduce 中 , 传 入 HDFS 的 日 志 文 件 进 入 Split 阶 段 , 日 志 数 据 通 过 Input
Format 被划分为一系列输入数据块,然后进入 Map 进行计算。Map 的输出被称
为中间键和中间值,被发送到 Reduce 进行后续处理,最终输出检测结果。
1)Map
Map 首先将 Spilt 后的一系列数据块进行分类,每个系列的数据块均由一个
Map 任务负责处理,生成新的键/值对
[11]
,然后进入 Reduce。实验中不同检测算法
划分的键/值对有所不同。
2)Reduce
进入 Reduce 的键/值对首先经过 Shuffle 阶段,该阶段的任务是将相同的键/
值对进行合并显示;然后依次为每个键对应分组执行 Reduce 函数;最终将符合
Reduce 函数的新的键/值对写入输出文件
[12]
。根据数据包数量配置工作节点数量
也是本文实验研究的重点之一。MapReduce 整体流程如图 3 所示。
图 3
图 3入侵检测中的 MapReduce 流程
尽管随着算法复杂度的提升分布式检测速度有所下降 ,但并不代表任何环境
下简单算法均为最优解。最简单的计数算法往往无法感知 DDoS 攻击的本质特
征,对隐蔽性较强的低速率攻击容易产生漏报情况,因此需要对计数算法进行优化,
使之能够适应更为复杂的 DDoS 攻击环境。
1.3 检测结果生成
MapReduce 从集群的 HDFS 中获取日志数据,进行检测后生成输出文件,随
后集群将该文件返回 HDFS,交由 NameNode 节点进行解析,生成最终的检测结
果。通过设计检测服务器中的检测控制程序,可将最终检测结果追加至服务器本
地存储的 Result 文件中。一旦检测结果成功追加,便删除本轮存储在 HDFS 中的
相关检测文件,释放存储空间,开启下一轮检测过程。
1.4 检测系统整体框架
根据检测系统运行次序和功能将其分为输入模块、监听模块和检测模块 3
个模块。输入模块包含合法流量制造节点和攻击流量制造节点,通过控制合法流
量和攻击流量的输入比例模拟不同环境的 DDoS 攻击流量。监听模块主体为监
听节点,对访问流量进行监听,生成监听日志并进行传输。检测模块中,Hadoop 集
群的 NameNode 节点充当检测服务器,是检测系统的核心,整个检测模块完成对
输入监听日志的存储、计算,生成检测报告。检测系统框架如图 4 所示。
图 4
图 4检测系统框架
2 混合型 DDoS 入侵检测算法
对于多种类型 DDoS 相结合的混合型 DDoS 攻击,单一属性的检测算法存在
较多缺陷,本文融合多重属性编写新型检测算法,以期获得更优的检测效率。
剩余15页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3582
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 基于SIFT算法实现全景图像拼接python源码+项目说明.zip
- 1.py
- LS416 高性能DSP的声控处理芯片语音识别模块AD设计硬件(原理图+PCB)+L2416-M-26P模块封装库+器件手册
- 基于tensorflow实现LSTM, CNN, SVM, MLP语音情感识别源码.zip
- 基于JSP在线学生选课管理系统源码.zip
- 基于JSP在线学生信息管理系统源码.zip
- 常用DHT11 MIC SHT11 VS1838B CHT8305 MQ-3 温湿度气体等传感元件2D3D封装库.PcbLib
- 基于JSP在线新闻管理系统包含前后台源码.zip
- 基于JSP在线文具销售平台商城源码.zip
- tiamo软件教程.doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功