论文研究-一种宏观网络数据挖掘网格系统.pdf

所需积分/C币:7 2019-07-22 21:25:43 542KB .PDF
收藏 收藏
举报

研究宏观网络安全数据挖掘系统的目的是保护大型网络中关键网络基础设施的可用性、机密性和完整性。为此,首先提出了一种宏观网络数据挖掘的系统框架;然后分析了宏观网络挖掘子系统和态势分析子系统; 最后利用网格计算技术实现了该平台, 并给出了其运行环境。该系统具有可扩展性, 能有效进行宏观网络的数据挖掘和实时势态感知。
2482 计算机应用研究 第25卷 该子系统兄一个网络势态和异常相关知认创建及求精的配到与网络传感器接近的底层,将中层知认放在多个网络传 过程。本文将以前收集的数据过滤、变换并组织成信息集合;感器的局部汇聚点,而将高层全局知识放在顶层的异常发现 信息集台进一步被用」发现隐嶽的且未曾被检测出来的宏观点上。这样可以保证异常发现和行为感知可以分布式进行, 刈络势态模式( situational pattems)以便用于未来的势念分析充分利用分布式资源,以期达到网络宏观实时异常发现的目 和异常感知。来自相关网络管理系统和入侵监测系统收集到标。本文把每一个传感器的输H看做一个流(sem),担每 的原始效据将被放入数据仓库。数据溟的种类多(数据包嗅一个相关的异常发现规则集合包装成一个网络异常分类器 探釋输岀、防火墙日志、父换机日志、路山日志和入侵监测系( classifier)。网络异常检测时,系统根据某种算法将网络传感 统输出等)、数据源的位置分散且格式不同、数据的定义不 器定向到低级异常分类器,低级异常分类器的输出是低级网 ,一种数据源仅包含挖掘所需要的部分信息,因此需要数络事件流,系统再将低级异常事件流作为相关高级的分类器 据清洗和融合。一个数据挖掘过程需要在数据仓库中选择初的输入,这样逐步得到更高层次的事件,最终至最顶层,网终 始数据,并根据挖掘算法的需求进行变换。对选择的数据集分析人员看到的是直观的网络势态和宏观的汇总信息。对 进行数据挖掘时,可能采用手工模式r也可能采用自动模式。异常趋势,了系统将给出异常的起源、日的地、可能造成的影 在宏观网络数据挖掘中,使用的挖掘操作包括聚类、关联分响,以及应该采取的建议揩施,以便辅助网络安全人员进 析、统计分析、规则归约、关联归约、树归约、偏离分析和神经网决策。由」采用统一接口的分类器,当发现新的异常,并 络分析。 通过挖掘提取到新的知识后,可以创装成新的分类器动态(即 木文对常见的宏观网络异常和各种数据源的数据结构和插即用)添加到实时监测子系统的相应级别。 类型进行了分析;在数据湶中找出能够反映各种宏观內终异 常的特征集合。文参考入侵检测系统、网格计算系统和网络 抽象 信息流程图 抽象 信息流程图 管理系统的相关标准和已有方法,并为每一种数据源定义基 析和验证 异常检测知识 知识 可视化 知识 于ⅩML格式的元信息〔meta- info)。它包括数据湶元数据的格 閉态棂式厍←评 →齿现模型 式、表达标准、存储方法、解析方法以及与具体数据源的绑定方 询 法。子系统根据对收集数据的范围、约束以及数掂的引用和层 /信点选料,落一换后的数据“信息 匚对象厍 反馈操作“数提选择和变換 资源管H 次关系,与数据源元数据进行对照,分布式提取何一种数摒 效描清洗」 源的数据,然后根据元数据进行数据消洗和格式转换。采用 数据 数据仓厍 数据 数据源元数据保证可随时加入新的数据源种类,而不需要对 常检测传慼器和包嗅探器(smi匠常检测传感器和包嗅探器(sie 子系统进行更改。同时,本文也设计了GUI接凵,便于对挖 图2大规模宏观网络安全 图3大规模网络异常感知 数据挖掘子系统 和异常发现框架 掘算法的结果进行分析、求精和消减。 为了能够組合多种数据挖掘算汯同吋进行挖掘,本文将3实现 挖掘算法包装成插件(plug-ins))提供统一的接凵,以便子系 统进行分布式顺序或并行数据挖摒。这种策略的目的是将挖 巾」该系统中的数据具有异构和分布式特点,人规模网 掘算淞与被分析的数摒分开,使得算法能够容易地动态集成络安全异常感知和数据挖掘的数据处理量巨大,并需要强人 和动态扩充。本义把这些挖掘算法定义为元算法;元算法也需的处理能力。资料显示,传统的分布式入侵检测和分布式数 要通过元信息进行描运,进一步实现子系统动态绑定和远程据挖掘速度相对需求来说慢,且计算敏感。为了使本系统的 复制。通过挖掘发现的模型可以被人工求精,并存储和分发,系统负载平并能更合理地利用处理和存倩资源,本文通过 便」日后进行分布式异常感知。为了达到可扩充性和灵活性,分析和比较,采用格计算技术并发整个系统,带来如 本义采用XML语言作为插件元数据描述方式。在发现的知个好处:高的检测攸载可以在分布式节点之间共享和平衡; 识中,本文按知识的层次分成多级势态知识,从而对势态进b)可避免因人量网络传输而导致系统崩溃;C网格技术本身 行多级分析。本文提出的方法可保证,数据挖掘可以在分布支持资源的访问、分配和管理,以及提供可扩展的安全解决方 式坏境中进行,而∏分布的粒度也可按计算资源的具体情况案,能提高系统的鲁棒性和安全性。 动态适应。 系统实现基」网格开发工具包GT4,保让所有的节点都 为了有效利用多种学习算法,本文采用元学习(m可以部署在任意硬件和软件平台h:;同吋利用GT4本身提供 leaming方法;其目的是关联多重异常检测模型,通过学习最的网格安全组件GSI和PkI对系统各组件、用户信息及其他各 终产生一个组合的检测模型。这种方法需要分析宏观网络安和数据和信息进行加密、认证和签名等多种安仝保护。对」人 全数据的特征集合以及多个检测模型之间的内在联系,通过数据集,采用GT4的( RIDE TP进行安全数据传输。使用GT4 适当的特祉集合将多个模型关联起来,使产尘的组合模型效还能保证与其他系统(如外部入侵检测系统和事件响应系统) 率更高,而且能够得到更高层次的异常事件。 协作,而且容易集成第三方的工具(如网络数据包分析工具 2)大规模网络异常感知异常发现子系统的设计 TCPDUMP和外部分类器 RIPPER等)。利用G74的通知/预定 本文采用的大规模异常行为感知和发现了系统如图3机制可以使该系统各组件在时间和空间两方面进行异步操作, 所示。 从而达到更高程度的并行处理 本文将异常感知」系统设计成分布式、灵活并可扩展的。 本文开发了一个原型系统,系统运行环境吖网终拓扑图 知识是分层的,根据知识本身的层次,本文将异常规则分如图4所示 第8期 林东岱,等:一种宏观网络数据挖掘网格系统 2483 系统具有协议的统一性、与系统平台的元关性、开放性以及面 于网 向服务的体系结构,本文将系统划分为若干个相对独立的网格 付象喷事芹 服务,使得该系统能够分布式进行并行人规模宏观网络数据 数库 挖掘和实吋态势分析,充分利用更多的异构资源以及更人程 传感器 度的分布,提高并行性。本文将数据源看做数据流,通过元 同子网I 数据对数椐源进行描述,不同数据派可以方便地集成到该系 交捡机山 统中,还可根据需要对数据源进行分级,上级分析容易利用 级分析的结果。由」根据不同的数据量和挖掘速度、准确度 域子阿B 图4系统运行环境的网络拓扑图 以及关联分析的需要,系统可能需要不所加入新的挖掘算法。 1)节点组成 本文采用元算法对算法的描述,能统一处理不同的挖掘算法, 在图4中,本系统的节点机包括中心数据挖掘机、数裾挖并能随吋将相关的不同挖掘算法集成,进行关联分析。本文 机1、数据挖掘机2、中心异常检测机、异常检测机、中心数采用网络异常分类器包装异常发现规则,使规则能有效复用, 摒仑库、数据仓库1、数据仓库2、对象/模式库、GUI控制台以而且便」处理不同级的异常。 及岩干的传感器。由于整个系统是分布式的,随着实际网络环参考文献 境不同,考虑到性能等因素,这些组件的位置会有所不同。 [1] UKHERJEE B, HEBER LEIN L T, LEVITT K N Network intrusion 2)节点的功能 detection[ J]. IEEE Network, 1994,8(3): 26-41. a)GJI控制台,控制网络安全数据的挖掘和大型网络的实 [2 BREZANY P, HOFER J, WOHRER A, e al. Towards an open service architecture for data mining on the grid[ C]//Proc of the 吋检测,它是网络管理员与整个系统的接口 14th International Workshop on Database and Expert Systems Appli b)数据挖掘机,負责分布式数摒挖掘。根据实际需要,数 cations. Washington DC: IEEE Computer society press, 2003: 113 据挖掘机可能冇多个,目的是为了进行水平或者乖直数据挖 120 掘。在每一次数据挖掘会话中,每一个挖掘机可能顺序或者[3] LEE W STOLFO SJ, MOK K W. a data mi ning framework for build 并行启用多个元学习插件,以便生成高层的异常模式。在测 ing intrusion dectection models[c]//Proc of 1999 IEEE Symposium on Security and privacy. Oakland, CA: iEEE Camputer Society Press 试环境巾,有三台镦韬挖掘杋,数据挖掘机1和数据挖掘机2 1999:120-132 挖掘的知识层次较低,或者只能挖掘出部分知;中心挖掘机[4]唐正军,李建华.入侵检测技术[M].北京:清华大学出版社, 能够挖掘更高层次的知讠 2004 C)异常检测机,进行实时的宏观网络安全异常检测。中[5] ROIGER] R, GEATZ MW.数据挖掘教程[M].翁敬农,译.北 异常检测杋和异常检测机1可进行分布式检测。异常检测 京:清华大学出版社;2003 机1使用多个相对低级的元分类器进行低级别,或者耗时较少 [6]冯登国.计算机通信网络安全[M].北京:清华大学出版社, 2001 的异常检测;中心昦常检测机的检测使用相对高级的元分类 [刁烈織 U Xing-quan, WU Xin- dong yang y ing. Dynamic classifier se 器,负责发现高级的宏观网络安全异常,将最终得到的网终药 lection for effective mini ng from noisy data streams[ C]//Proc of the 态和高层次网终异常事件报告给GUI控制台,以使网络安全 4th IEEE International Conference n Data Mining. Washington DC: 人员芧握网络势态,辅助网络安仝人员进行决策。 IEEE Camputer Saciety Press, 2004: 305-312 d)数据仓库,存倩海量网络安全原始数据。在该坏境中,[8N5., ara le lang cl ustenng of geoscientiFIc sets using data streams[ c]//Proc of the 16th International Confe 被挖掘岀的各种阏络宏观昻常势态模型被存放在对象/模型库 rence on Scientific and Statistical Database Management. Washington ;被数据挖掘岀的新对象/异常模型将被加入到昻常对象编 DC: IEEE Computer Soaety Press, 2004: 73-84. 码库中,在异常检测吋,异常检测节点将从该库中提取需要[9] FLOERING B, BROTHERS B, KAIBARCZYK Z,a!, An adap丸 的模型信息。中心数据仓库、数据仓库1和2分别存储海量的 architecture far moni toring and failure analysis of hig-speed networks 网络安仝数据,多个传感器会根据需要将网络安仝原始数据 [C]//Proc of the Intemational Conference on Dependable systems and Networks. Washington DC: IEEE Computer Society Press, 2002 追加至这三个数据仓库中。在数据挖掘时,元学习插件会根 据需要提取特定的数据子集(行和列个方间) [10] BASST, ROAD S Publish-subscribe enabled mul ti sensor data fusion e)传感器,分布在大型网络关键基础设施的附近(对人型 [C]//Proc of the 5th International Conference on Informati n Fusion 网络关健的服务器、路山器、防火墙、交换机、」网以入侵检 [S I]: IEEE Computer Society Press, 2002: 1076-1083 测系统),负责获取网络安仝原妗数据。原始数据仙括了网数[119NEzA,PNA3M, ,et a, prong dIstri 据包组裝后的连接信息,路由器、交换机、防火墙和关键主机的 data mining techniques by means of a gid infrastructure C]//LNCS 3292.2004:111-122 流量信息日志信息。山于日前已有很多snft,连接组装器[1] FOSTER I, K ESSEIMAN C,NIKJ,a. The physiol agy of the 和日志提取服务,本文编写了传感器元信息来集成这些工具, grid: an open gnd services architecure for distributed systems integra- 避免重复川发,提高可扩展性, tin[J]. IEEE Computer, 2002, 35 ( 6): 37-46 13 JIN Hai, suN Jian-hua, CHEN hao, et al. A fuzzy data mini ng based 4结束语 intrusion detection mode [cl// Proc of the 10th IEEE Intemati onal Workshop an Future Trends of Distributed Camputing Systems 本文提出了一种宏观树络效据挖掘阏格系统。山于网格 Washingon DC: IEEE Computer Society Press, 2004: 191-197.

...展开详情
试读 4P 论文研究-一种宏观网络数据挖掘网格系统.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
    抢沙发
    一个资源只可评论一次,评论内容不能少于5个字
    • 至尊王者

      成功上传501个资源即可获取
    关注 私信 TA的资源
    上传资源赚积分,得勋章
    最新推荐
    论文研究-一种宏观网络数据挖掘网格系统.pdf 7积分/C币 立即下载
    1/4
    论文研究-一种宏观网络数据挖掘网格系统.pdf第1页
    论文研究-一种宏观网络数据挖掘网格系统.pdf第2页

    试读已结束,剩余2页未读...

    7积分/C币 立即下载 >