A. 北京市昌平区中东路 398 号中煤建设大厦 1 号楼 4 层 邮政编码:102218
F4, 1#, Zhongmei Construction Group Plaza, Zhongdong Road, Changping District, Beijing
T. 010-8423389 F. 010-56842040 H. www.mininglamp.com
掘软件往往只涉及 6 个步骤中的前 5 个步骤,即只关心模型如何建立,模型建立完成后,如何
部署、应用该模型,则很少有软件涉及。但是,从企业数据挖掘实践来看,建立模型只是企业
数据挖掘工作的一小部分,后续还有大量的模型部署、更新、维护的工作。目前这些工作缺乏
良好的系统来进行管理,导致数据挖掘落地时间长、效率低。
明略 DataInsight 从企业业务落地出发,帮助企业有效的管理大数据挖掘的各个阶段,不单
单为企业提供了高效的建模工具,同时也提供模型应用管理系统帮助企业管理已经建立好的模
型,降低了模型部署、更新等维护的成本。明略 DataInsight 是基于大数据平台的产品,这就意
味着明略 DataInsight 的实验环境和生产环境融为一体。在实验环境中建立的模型可以很方便
的在生产环境中应用,降低了模型的部署和迁移成本。
并行化大数据挖掘运行平台
大数据时代的特点是数据量规模巨大,传统的单机算法已经无法满足大数据时代的需要,
我们需要使用并行算法来处理和计算大数据。明略 DataInsight 是一款基于 Apache Spark 架构
的真正意义上的大数据挖掘平台,其通过 Spark 提供的高性能内存迭代计算引擎在多个节点上
并行挖掘,解决了单机节点无法挖掘海量数据的问题,同时提高了挖掘速度。
图 2 DataInsight 并行架构