论文研究-一种基于GBDT的Domain-flux僵尸网络检测方法的设计与分析 .pdf

所需积分/C币:12 2019-08-14 17:40:21 277KB .PDF

一种基于GBDT的Domain-flux僵尸网络检测方法的设计与分析,崔卓群,吴伟明,僵尸网络是网络安全的一大威胁,而Domain-flux技术的出现使其更难以被关闭,目前没有长期解决它的办法,所以研究Domain-flux检测技术就��
国利技文在线 http://www.paper.edu.cn 2基于GBDT的 Domain-1ux域名组的检测方法 21特征分析 本文参考近些年的检测方法时14,选用了如表1的特征 75 表1选取特征 Tab. 1 Selected Feature 房号 名称 说 Length 域名长度 Hierarchy 域名层级 1-gram l-gram常见程度 2-gram 2gram常见程度 5-gram 3-gram常见程度 Act Duration 被访问的时间跨度(秒) Ivgtt 平均TT R 解析P总数 RipNetseyment 解析P集属于不同网段个数 Rip Change 解析IP变化的次数 Ripdomain count 有效等价域名总数 源IP总数 13 Sipotype count 源I查询 REtype种类平均数 我们对其中部分特征做一下解释: n2grm常见程度m-1,2,3):一个宁符串的 n-gram是指,该字符串的所有长度为n的子 串的集合。比如 google'的2-gram为{go','oo';og,'gl'le'}。n-gram常见稈度定义为这个集 合中元素在 Alexa. com中前100,000的域名对应的n-gram集合中出现的频率的平均值。大部 分基于字符的DGA的这个值会比较低。形式化描述如下: ∑ecn-amAn(e) In-graml 其中AO函数表示字符串在 Alexa. com中前100,000的域名对应的 n-gram集合中出现的 频率。另外需婁注意的是,因为DGA大多作用于二级域名,少数作用于三级域名,所以我 们只计算域名中二级域名的n-gram,如果某二级域名重复出现,且其不同的三级域名出现 超过u,则只计算域名中二级域名的 n-gram。 被访问的跨度:指域名第次被访问到最近次被访问中间有多少秒。当这个跨度 超过0r,则记为0r。 Domain-fux僵尸网络用到的域名一般被访问的时间比较短。 解柝P变化的数:某域名解析出的P集合较之上一次有变化的次数。这里我们只对 人为产生的变化感兴趣,所以我们只统计I集合较之上一次有新元素的次数,而忽略解析 IP集合减少这种变化。有的僵尸网终IP变化次数公明显高于正常值。 有效等价域名总数 定义等价域名:如果以下条件满足一个,则域名A和B互为等价域名 条件1:域名A(或B)存在个 CNAME类的RR,其内容为B(或A)。即B(A) 为A(B)的别名 条件2:存在至少一个P,域名A有一个A类RR指向这个P,域名B也有一个A类 国利技文在线 http://www.paper.edu.cn RR指向这个IP。 条件3:存在一个域名C,A和C互为等价域名,B和C也互为等价域名。 定义有效等价域名:若域名B的DNS解析有至少一个A类记录,且A和B互为 等价域名,则称域名B为域名A的有效等价域名。 在这些特征中,特征6、10、11、12、13都与要统计一段时间内多条相关DNS记录才 能获得,而特征8、9虽然可从一次查询与返回中获得,但统计多条记录的总和也会更有用。 获取这些特征虽然消耗了时间,但其效果是不可替代的。类似文献这种快速的监测系统 对于在域名层面伪装得很成功的僵尸如 Matsu、 Cryptowall\ Suppobox和Ⅴ olatile, 这些特征就是很有效的补充。 2.2检测目标合并 学者们在进行僵尸网络特性硏究分析时,很多特点是基丁僵尸网络整体活动的。单一样 本的行为可能不会体现出整体的特点,所以我们可以将多个相似的样本(也就是,来自同一 僵尸网络)组合在一起,统计他们共同体现的特征。等价域名用来描述相似就很合适,因为 如果两个域名指向了同一P甚至P集合,我们基本可以判定这两个域名的用途也是一样的。 110 这样做可能需要进一步花费一些时间,但不会引起质变,依然是一个检测时延为几小时的非 在线检测方法。在将域名合并时,3.1所用一些特征的定义也要稍微有一些变动,特征1、2、 3、4、5、6、7、10、13取多个样本的平均值,特征8、9、12取被观察对象并集的元素个 数,特征11就是样本数 23分类算法 l15 树家族算法的优点是不需要定义样本间的相似度,这样就不需要调整特征的量纲,也不 用关心特征间是否有关联。这是个很重要的特性,因为本领域所提特征很难满足独立同分布 这样的条件。DT算法决策树在样本量和特征维度比较大的时候分类效果就不太好了,这时 候基于DT的集成模型往往很有效。GBDT是 Friedman J H于1999年在提出可以利用负 梯度近似求解损失函数的时侯顺便提岀的算法,使得基于回归树的 boosting类集成模型可以 120 使用log似然函数作为损失函数求解2分类问题。该算法的优点除了作者所说的鲁棒和可解 释之外,根据人们使用的经验,GBDT和其它集成模型比模型更精简,也就是检测速度更快 且更不容易产生过拟合。 Zhang C等人的实验结果也证明了这一点,GBDT在作 者实验的10个算法中准确率和检测速度都是排名很靠前的。 实验分析 125 31实验数据和评价指标 木实验的薮据集使用StratospherelPS项目(www.stratosphereips.org)的数据集。 StratospherelPS项目的数据集汋不同使用目的提供多种数据格式,本文使用基本的网络流 pcap格式的文件,为保护隐私,公开收集到的包含受感染主机的网络流量时,不公开网终 环境中正常的流量而只提供恶意流量。过滤岀DNS流量后,我们发现这些恶意的网终流量 130 中包含对google.com等正常域名的访问,其中的原因有:僵尸程序运行时可能会首先访问 google.com等正常而稳定的网站来确认网络是否连通;另外数据收集方的主要目的是通过流 量检测僵尸主机,如此会把僵尸主杋在受控状态下对正常网站的访问与攻击都标记为恶意流 4 国利技文在线 http://www.paper.edu.cn 量了,然而这种标记方法在域名检测中不适用,所以我们得到需要的数据流后,要进行一些 修正操作。我们的修正方法是,将DNS流量中出现的域名通过 Daniel lohmann等人的研宄 135 总结并公开的DGA生成的域名集 DG Archive( dgarchive. caad. fkie fraunhofer:de进行比对,将 原恶意流量中包含这些域名的流量取出,作为我们的恶意DNS流量。比对出来域名的恶意 流量和正常流量的文件如表2所示。 表2本文使用的来白 StratosphcrclPS项目的流量数据 Tab 2 Flow data to be used from StratosphereIPS project 疗号 文件名 备注 CTU-Malware-Capture-Botnet-91 包含 conficker CTU-Malware-Capture-Botnet-142 包含shi CTU-Malware-Capture-Botnet-150-1 包含tiba (7 Malware(pe-Bmet168-2包含 Andromeda CTU-Malware-Cupture-Botnel-170-7 包含neus CTU-Malware-Capture-Botnet-214-1 包含lcky CTU-Normal-4-only -DNS 正常流星 8 CTU-Normal-6 正常流量 140 在计算域名特征 n-gram时,需要 alexa,com站的域名,所以收集了上面1,00000 域名作为白名单。 本文进行结果对比时使用的评价指标有: TP 精确率( precision, positive predictive value,pPV,P) TP+FP TP 召回率reca, true positive rate,TPR,R)TP+FN 45 Fl- score:是一-个综合考虑精确率与召回率的指标,计算公式如下(β=1) F-Score=(1+B)·P.R β2P+R 在僵尸网络检测领域,我们通常需要兼顾召回率和精确率,所以在评价模型结果时,我 们主要比较F- Score 32GBDT和其它常用算法的对比 木节实验旨在对比GBDT和另两个僵尸网络检测常用的算法DT和RF(随机森林)的 150 检测效果的时效性。具体实验步骤为,将薮数据集按域名抽取特征,之后按7:3的比例随札将 数据集划分为训练集和测试集,且保持正负样本的比例,如此划分5次,分别运行各个算法 进行检测,统计结果。实验结果如表3所示。从结果中我们可以看到,从f分数来看,RF 的分类效果最好, GBDT此轮略逊一筹,DT更低一些。检测速度上,DT作为非集成分类 器训练和测试速度最快,GBDT的测试速度也很快,RF无论训练和测试速度都是最慢且有 155 一定差距。 国利技文在线 http://www.paper.edu.cn 表3分类算法对比结果 Tab 3 Comparison of classification algorithms 指标 GBDT RE DT 精确率 0.98 0.96 召回率 FI-score 0.99 0.98 川练时间 1775 2352 10.5 测试时间 5 15.6 5.0 精确率 0.98 0.96 召回率 2 Fl-scorc 0.98 训练时间 167.3 240.0 5.2 测试时间 5.2 20.9 5.2 精确率 召回率 0.98 0.98 FI-score 0.99 0.99 训练时间 161.7 测试时间 5.2 10.4 精确率 0.94 0.94 召回率 0.98 0.98 4 Fl-score 0.96 0.96 训练时间 156.6 235.0 10.5 测试时间 5.2 10.4 精确率 0.98 召回率 0.96 0.96 FI 0.98 0.97 训练时间 35.0 5.4 测试时间 n/a 15.7 nra 精确率 0.984 0.996 0.968 召回率 0.984 0.984 0.984 平均 F1-score 0.984 0.99 0.976 训练时间 162.88 237.08 7,4 测试时间 5.2 14.6 5.15 160 注:时间的计量方式为毫秒每条记录 33基于域名组进行检测的效果 本节实验旨在对比基于等价域名组检测和传统的基于单个域名检测方法的效果。实验步 骤同42,实验的算法为GBDT和RF。基亍等价域名组检测的实验结果如表3-3所示。根据 衣4和3的结果可以看到,GBDT的F- score有所提,咯微超过了域名检测中最好的RF 的效果。另外,本次实验R性能下降得比较惨。究其原因,基于域名检沨的场景,本数据 集正常域名和 Domain-flux域名的比例约为28比1,而基于域名组的场景,正常域名组和 Domain-flux域名组的比例变为152:1 Boosting类集成学习方法的特性就是对误分的样本权 重不断变人,所以对这种情况比较鲁棒。在显示环境中,正常样本远多于攻击样本也是人多 数现实的情况,所以GBDT也是一个很具有竞争力的算法。 国利技文在线 http://www.paper.edu.cn 170 表4基于域名组检测的结果 Tab 4 Detection result based on group analysis 实验次数 指标 GBD 精确率 召回率 0.97 I-score 0.99 精确率 0.57 召回率 0.96 Fl-score 0.98 精确率 0.98 0.19 召回率 Fl-sco 0.31 精确率 回率 Fl-score 精确率 0.81 召回率 Fl-score 0.90 精确率 0.996 0.714 平均 召回率 0.986 F1-score 0.992 ).786 结论 本文提出了一个基于GBDT的 Domain-uwx域名组的检测方法。结果表明,新算法和大 规模数据量下业界最佳算法RF相比,可以仁基本保证检测效果的同时节省一半的训练时间 和65%的测试时间。使用新的域名组作为检测对象,从结果推测确实提高了特征的描述能 力,但导致样本不均问题更加尖锐了,在15.2:1的正负样本比例下,GBDT依然可以保持较 优的检测效果。因为基于 Domain-f"ux的僵尸网终检测这个领域,大多数学者并不公开自己 的数据,所以对比数值没有特别大的意义。但本文对算法和特征统计方面进行的尝试,可为 相关领域的研究提供参考我们在实验中对样本伓均问题的解决办法就是根据域名组包含的 180 有效域名个数为样本赋权重,但没有为RF解决问题。后面的工作,我们考虑尝试过采样和 修改损失函数的方式来解决样本不均问题,进而观察基于域名组的方法的真实效果。 参考文献]( References 185 [11 Truong D T, Cheng G. Detecting domain -flux botnet based on DNS traffic features in managed networkJ Security and Communication Networks, 2016, 9(14): 2338-234 [2] Demertzis K, Iliadis L. Evolving Smart URL Filter in a Zone-Based Policy Firewall for Detecting Algorithmically Generated Malicious Domains[C] International Symposium on Statistical Learning and Data Sciences. Springer International Publishing, 2015: 223-233 [3] Jin J, Yan Z, Geng G, et al. Botnet Domain Name Detection based on machine learning[C]// International Conference on wireless mobile and Multi-Media IET 2016 4-4 4]Yadav S, Reddy A KK, Reddy AL N, et al. Detecting algorithmically generated malicious domain names[C]/ ACM SIGCOMM Conference on Internet Measurement 2010. Melbourne. Australia November. DBLP 7 国利技文在线 http://www.paper.edu.cn 2010:48-61. 195 [5] Bilge L, Sen S, Balzarotti D, et al. Exposure: A Passive DNS Analysis Service to Detect and Report malicious Domains[J]. Acm Transactions on Information System Security, 2014, 16(4): 1-28 [6]Bilge L EXPOSURE: Finding Malicious Domains Using Passive DNS Analysis[J] 2011 [7] Tran D, Mac H, Tong V, ct al. A LSTM bascd Framework for Handling Multiclass Imbalance in DGA Botnet Detection[J]. Neurocomputing, 2017, 275 200 8 Mowbray M, Hagen J. Finding Domain-Generation Algorithms by Looking at Length Distribution[ C]/ IEee International Symposium on Software Reliability Engineering Workshops. IEEE Computer Society, 2014: 395-400 [91 Truong D Cheng G. Detecting domain-flux botnet based on dNS traffic features in managed network[JI Security Conmunication Networks, 2016, 9(14): 2338-2347 [10] Choi H, Lee H Identifying botnets by capturing group activities in DNS traffic[J]. Computer Networks, 2012, 205 56(1):20-33 IIINguyen T D, Cao T D, Nguyen I Gi. DGiA Botnet detection using Collaborative Filtering and Density-based Clustering[C]/ International Symposium on Information and Communication Technology. ACM, 2015: 32 [12] Schiavoni S, Maggi F, Cavallaro L, et al. Phoenix: DGA-Based Botnet Tracking and Intelligence[ch/ International Conference on Detection of Intrusions and malware and vulnerability assessment. springer. Cham 210 2014:192-211 [13] Tong V, Nguycn G. a mcthod for detecting dga botnet bascd on scmantic and cluster analysis[C] SoICt 2016 International Symposium on Information and Communication Technology. 2016 114] Shi L, Lin D, Fang C V, et al. A I lybrid L earning from Multi-behavior for Malicious Domain Detection on Enterprise Network[C]/ IEEE International Conference on Data Mining Workshop. IEEE, 2016: 987-996 [15] Friedman J H. Greedy function approximation: A gradient boosting machine [ J]. Annals of Statistics, 2001 29(5):1189-1232 6 Zhang C, Liu C, Zhang X, et al. An up-to-date comparison of state-of-the-art classification algorithms] Expcrt Systcms with Applications, 2017, 82(C): 128-150

...展开详情
img

关注 私信 TA的资源

上传资源赚积分,得勋章
最新资源