基于Map_Reduce的并行关联分析方法

本文在研究BIRCH算法、规则关联算法、Hadoop的map／reduce机制的基础上，提 出了一种基于map／reduce的应用于网络安全事件分析的并行关联方法。一方面，通过对BIRCH 算法的改进，在BIRCH的分层次思想中引入预定义的规则库进行聚类，可以实现多级关联以 及提高聚类的收敛效果，从而达到精简报警教的目的；另一方面，把该关联算法与Hadoop的 map／reduce相结合，实现了算法的并行化计算，在一定程度上提高了算法的运行效率。最后的 实验结果表明，采用该关联方法可以有效提高聚类效果，减少重复报警，缩短关联分析的执行 时间。