移动集团大数据平台规划.pptx

移动集团大数据平台规划是针对电信运营商在大数据时代背景下，如何构建高效、稳定、灵活的数据处理和分析系统的关键议题。此规划旨在解决当前架构存在的问题，适应业务发展的需求，并遵循集团的相关规范。 我们来看看历史及现状。在2005年至2008年间，移动集团的数据仓库架构相对稳定，采用JDBC接口供各业务系统访问。结构包括主仓库、报表库、前台库和OLAP集市层，分别处理结构化数据、支持报表应用、存储门户信息以及进行多维分析。随着时间推移，业务需求和数据源的增长推动了系统的演进。例如，2009年的VGOP（Value-added Gateway Operation Platform）建设，2010年的ESOP（Enterprise Service Operation Platform）建设，以及2011年的数据挖掘平台，都是为了满足特定业务领域的需求，如数据业务、政企服务和数据挖掘应用。 接下来，业务驱动下的架构变化主要体现在数据仓库的扩容和新技术的引入。例如，主仓库的硬件升级，历史库的改造，以及ETL（抽取、转换、加载）过程的优化，都是为了提高数据处理能力和响应速度。此外，应急库的建设是为了应对大量数据变化带来的挑战，实现应用级容灾，确保高可用性。同时，接口工具的引入加强了不同组件间的数据交互管理，而Hadoop集群的部署则用于处理半结构化和非结构化的互联网数据，支持流量经营等关键应用。 各系统定位明确，主仓库处理基础数据模型，承载KPI和实时性较高的应用；应急库作为数据仓库的应用级容灾；历史库存储历史数据，提供专题分析；地市数据分析中心则面向地市提供自助报表和营销工具。VGOP、ESOP和数据挖掘平台则分别服务于增值业务、政企客户和专业数据挖掘。 从硬件配置上看，移动集团采用了多种服务器和存储设备，如IBM、Teradata等，以满足不同子系统的需求。这表明集团在大数据平台建设上投入巨大，注重系统的稳定性和高性能。 总结来说，移动集团的大数据平台规划是基于业务需求和架构演进的综合考虑，涵盖了数据仓库的优化、新技术的引进、系统高可用性的提升以及硬件资源的合理配置。这个规划旨在构建一个能够处理海量数据、支持多元化业务、具备高弹性和可扩展性的大数据生态系统，以支撑集团在大数据时代的持续发展。