Spark在TalkingData移动大数据平台的实践
2013年9月份,TalkingData开始尝试使用Spark解决数据挖掘性能问题。随着对Spark的逐渐了解,TalkingData开始将Spark应用到整个移动大数据平台的建设中。在移动大数据平台中,ETL过程、计算过程、数据挖掘、交互式数据提取等等都依赖于Spark。在这里,我将要介绍我们使用Spark的状况、平台架构、以及一些实践经验。当然也包括一些总结的最佳实践。
2013年9月份,TalkingData开始尝试使用Spark解决数据挖掘性能问题。随着对Spark的逐渐了解,TalkingData开始将Spark应用到整个移动大数据平台的建设中。在移动大数据平台中,ETL过程、计算过程、数据挖掘、交互式数据提取等等都依赖于Spark。在这里,我将要介绍我们使用Spark的状况、平台架构、以及一些实践经验。当然也包括一些总结的最佳实践。
via Reynold Xin, Co-Founder & Chief Architect, Databricks
Via Ken Tsai, Head of Cloud Platform & Data Management, SAP
VIA Seshu Adunuthula, Head of Analytics Infrastructure, eBay
VIA Anjul Bhambhri, VP of Big Data Engineering, IBM
via Shaun Connolly, VP of Business Strategy, Hortonworks
本报告的形成是基于开源社与 CSDN 携手推出的“2015 年中国开源社区参与调 查问卷”,旨在对中国开源社区、开源生态、开源开发者做一次全面性地摸底调 查。