大数据中心建设方案.ppt

大数据中心建设方案旨在构建一个统一的企业数据平台，用于整合、存储和分析来自多个业务领域的大量数据，以提高决策效率和业务洞察力。该方案的核心目标是建立一个高效、可靠、可扩展的数据中心，以解决现有分析系统存在的诸多挑战。 大数据中心的建设任务包括建立一个层次分明的数据架构，包括展示层、数据分析应用层、数据集市层、企业数据仓库（EDW）、数据存储层和数据源层。展示层主要负责数据的可视化和报告，让最终用户能够直观地理解数据。数据分析应用层则基于数据集市和企业数据仓库进行深度分析，提供跨专业的综合分析，如营销、财务、生产和设备分析等。数据集市层则负责将原始数据转化为业务友好的格式，便于分析。企业数据仓库作为中央存储库，集中存储来自各种数据源的集成数据。数据源层涵盖所有业务系统和外部数据的输入。 在执行架构层面，大数据中心采用批处理服务、性能与可用性服务、通用服务等，确保数据的高效处理和稳定运行。数据抽取、数据整理、数据转换和数据汇总是数据流动的关键环节，它们保证了数据的质量和一致性。通过中间件连接器，数据中心能够连接不同的业务系统和数据源，实现数据的抽取、转换和加载（ETL）。此外，还涉及到数据缓存、ODS（Operational Data Store）和数据集市的加载，以及数据的归档和管理。 物理架构上，数据中心通常由多个服务器组成的集群构成，包括数据库服务器、DSO/DM服务器、备份服务器、BI应用服务器、ETL/Monitor/Analysis服务器等。这些服务器通过高速网络连接，如光纤交换机，共同维护数据的存储和处理。硬件设备如磁带库和磁盘柜提供数据的长期存储，而Web服务器则支持用户访问和报表服务。 在应对挑战方面，数据中心建设策略强调短期见效和应用驱动，通过展现全局指标数据，提升业务分析能力，并逐步转移部分业务系统的查询功能。为了增强信任并解决互信问题，需要制定良好的方法和流程，得到领导层和业务人员的支持。此外，解决数据的“进口”和“出口”统一性，切断非数据中心的数据获取途径，以保证数据的准确性和一致性。 建设方式上，可以采取自顶向下（追溯法或分析应用法）、自下而上（数据整合法）或折中建设方法。自顶向下侧重于指标数据的分析和追溯，而自下而上更注重数据模型的全面设计。折中建设则结合两者，同时构建分析应用和数据整合，以适应不断变化的业务需求。 大数据中心的建设是一个涉及数据整合、分析、存储和管理的复杂过程，旨在克服现有的业务和技术挑战，提升企业的数据利用能力和业务分析能力，以支持更高效、全面的决策制定。