Spark随机森林算法原理、源码分析及案例实战

本文首先对决策树算法的原理进行分析并指出其存在的问题，进而介绍随机森林算法。同单机环境下的随机森林构造不同的是，分布式环境下的决策树构建如果不进行优化的话，会带来大量的网络IO操作，算法效率将非常低，为此本文给出了随机森林在分布式环境下的具体优化策略，然后对其源码进行分析，最后通过案例介绍随机森林在金融领域内如何进行优质客户的分类。Spark内存计算框架在大数据处理领域内占有举足轻重的地位，2014年Spark风靡IT界，Twitter数据显示Spark已经超越Hadoop、Yarn等技术，成为大数据处理领域中最热门的技术，如图1所示。2015年6月17日，IBM宣布它的“百万数据工程师计划”