没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
2019065-1
运营技术广角
基于大数据融合算法的 DNS 日志分析系统
廖明,陈明,周冀,向小华,李芳,焦叶芬
(中国移动通信集团重庆有限公司,重庆 404100)
摘 要:总结了目前行业对于 DNS 日志的大数据分析存在的问题,并设计了一种基于大数据融合算法的 DNS
日志分析系统,该系统融合了备案信息库、网站库、域名库、IP 地址库、CNAME 域名库以及安全信息库六
大信息库数据,具有强大的日志分析性能,分析内容范围全面,分析深度高,同时具有灵活的报表定制功能,
为电信运营商提高管理效率、优化网络安全、提升本网率提供决策依据。
关键词:DNS 日志;大数据;信息库;用户行为分析
中图分类号:TP393
文献标识码:A
doi: 10.11959/j.issn.1000−0801.2019065
DNS log analysis system based on big data fusion algorithm
LIAO Ming, CHEN Ming, ZHOU Ji, XIANG Xiaohua, LI Fang, JIAO Yefen
China Mobile Group Chongqing Co., Ltd., Chongqing 404100, China
Abstract: The existing problems of big data analysis of DNS logs in the current industry were summarized, and a
DNS log analysis system based on big data fusion algorithm was designed. The system integrates six information da-
tabases, such as record information database, website database, domain name database, IP address database, CNAME
domain name database and security information database. It has powerful log analysis performance, comprehensive
content analysis, and classification. With high analysis depth and flexible report customization function, it can pro-
vide decision-making basis for telecom operators to improve the management efficiency, optimize network security
and enhance the network rate.
Key words: DNS log, big data, information database, user behavior analysis
1 引言
随着互联网的飞速发展,移动终端和智能手
机的普及使得用户能够更加快速方便地获取信
息,同时人们对移动网络服务的质量要求越来越
高。面对信息爆炸式增长产生的流量,运营商的
收入没有实现跨越式提升,反而面临数据流附加
值被互联网公司“吸”走,沦为“管道”的挑战。
为应对上述挑战,电信运营商开始从战略层面对
大数据展开部署,通过对海量数据深度分析来挖
收稿日期:2018−12−17;修回日期:2019−03−28
基金项目:中央高校基本科研业务费专项资金资助项目;国家自然科学基金资助项目(No.61501042)
Foundation Items:The Fundamental Research Funds for the Central Universities, The National Natural Science Foundation o
f
China(No.61501042)
运营技术广角 ·130·
掘其核心价值,将数据转化为精准营销、精细化
运营以及开拓市场的生产力
[1-3]
。
电信运营商常见的大数据应用主要有信令分
析系统
[4-6]
和 DPI 分析系统
[7-8]
。其中,信令监测
系统采用高阻跨接、分光、端口镜像或交换机内
部收敛等方式获取信令链路上传递的各类原始信
令和协议数据,进行信令协议解码、分析处理、
网络和业务性能指标统计,从而再现业务接续全
过程,帮助维护人员掌握并分析网络和业务运行
情况,及时发现和排除网络中的故障和隐患。参
考文献[4]全面分析了信令采集与监测系统的研究
现状与进展情况。参考文献[5]结合现有信令监测
系统功能架构和业务需求,论述了信令监测系统
的发展趋势,提出了基于大数据的信令监测系统
建设方案,并讨论了系统建设中的关键技术。参
考文献[6]在传统信令监测系统的基础上结合大数
据特征,设计了信令监测系统建设方案,讨论了
其方案的关键技术和功能架构,并详细介绍了其
方案在网络优化、业务经营、网络安全 3 方面的
应用。而对于基于 DPI 的大数据分析系统,现有
的监测技术大致有基于端口数据分组的监测技
术、基于应用层特征的深度分组检测(deep packet
inspection,DPI)技术和基于流量行为的深度流检
测( deep flow inspection,DFI)技 术
[7]
。参考文献[8]
针对基于正则表达式匹配算法的深度数据分组检
测方法,提出了基于优先级的迁移边压缩方法,
融合相同目的状态最多的迁移边,从而减少存储
空间需求。参考文献[9]分析了基于 DPI 的大数据
分析技术原理、分类以及在网络中的部署方式,
然后以实例的形式说明了通过 DPI 技术能够获取
到的各类数据,并结合移动大数据的当前应用领
域,指出了 DPI 数据的适用范围,并提出了 DPI
数据在移动大数据的应用过程中面临的挑战。
尽管目前基于信令分析系统和 DPI 分析系统
的大数据应用受到了业界广泛的研究,然而对于
信令分析系统,其信令数据庞大,存储成本高,
同时信令数据复杂,分析投入成本巨大且分析效
率低
[10]
。而对于基于 DPI 的分析系统,可以采用
软件实现,优点是系统更新简单,但是基于软件
实现的系统不能满足网络高速数据分组处理的吞
吐量要求
[9]
。硬件实现的 DPI 系统具有效率高等
优点,但是系统升级难、成本高,且系统识别知
识库需要占用大量内存,硬件片内存储空间有限,
制约了知识库冗余,系统拓展性不够。因此,针
对上述分析系统的不足,本文提出了一种基于大
数据融合算法的 DNS 日志分析系统
[11]
。在该系统
中, DNS 日志相对较小,便于转储且分析相对较
容易;DNS 日志包含的信息量大且数据集中,与
其他数据的相关性强同时 DNS 日志分析成本低,
因此 DNS日志是运营商利用所掌握的数据进行深
入分析、挖掘市场价值性价比比较高的切入点
[12]
。
2 行业现状
目前行业对于 DNS 日志的大数据分析,只是
单纯地分析 DNS日志或者结合一个数据库进行分
析。单纯地分析 DNS 日志,可以了解 DNS 的服
务质量以及 DNS 请求次数等信息;而 DNS 日志
结合认证信息库分析用户行为,可以了解用户的
属性;DNS 日志结合 IP 地址信息库分析用户请求
资源的调度结果,如参考文献[13-14],统计流量
流向,为本网率提升提供依据;DNS 日志结合备
案库分析用户访问域名的合法性,并能分析网站
所属公司包含的所有域名;DNS 日志结合网站漏
洞库和病毒域名库分析互联网网站和网络的安全
性,了解网站和网络存在的安全问题;DNS 日志结
合网站/应用库分析了用户的访问网站/应用类型、所
属行业的信息。目前行业分析存在的问题如下
[15-17]
。
(1)融合数据库较少
缺少定制化分析工具和方法,互联网内容安
全性和合法性管理困难。
(2)DNS 服务质量难衡量
DNS 解析错误原因分析难、DNS 调度分析困
2019065-2
剩余10页未读,继续阅读
资源评论
weixin_38500607
- 粉丝: 4
- 资源: 964
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功