大数据架构与关键技术.doc

【大数据架构与关键技术】 大数据架构是处理海量数据的框架，旨在高效、有效地管理和分析大量、多样化的信息。这种架构的设计考虑到大数据的四个V特性：体积（Volume）、速度（Velocity）、多样性和真实性（Variety and Veracity）。由于大数据的复杂性，目前尚无统一的技术标准，但可以从NIST和JTC1/SC32的研究成果中获得指导。 大数据参考架构（Big Data Reference Architecture, BDRA）被提出，它是一个概念体系，包含了“角色—活动—功能组件”的三层结构。这一体系以“一个概念体系”和“二个价值链维度”为核心，即IT价值链和信息价值链。IT价值链关注大数据技术的新需求，而信息价值链则关注数据到知识的信息流价值。 BDRA是一个通用模型，独立于具体技术，用于描述大数据系统的逻辑功能构件和它们之间的接口。它的目标是创建一个开放的架构，让不同角色（如系统工程师、数据科学家、软件开发者、数据架构师和决策者）能在互操作的大数据生态系统中解决多样化问题。大数据应用提供者位于两个价值链的交汇点，是价值创造的核心。 BDRA由五个主要模型构件组成：系统协调者、数据提供者、大数据应用提供者、大数据框架提供者和数据消费者。此外，安全和隐私、管理是两个关键的辅助模型构件，为其他构件提供服务。 1. **系统协调者** - 负责整体需求，包括政策、治理、架构、资源和业务需求的监控和审计。这可能由业务领导、咨询师、数据科学家等角色执行，他们配置和管理其他组件以执行工作负载，并监控服务质量，根据需求弹性分配资源。 2. **数据提供者** - 提供大数据系统所需的数据。数据可以来自内部或外部源，数据提供者负责数据的获取、准备和传输。 3. **大数据应用提供者** - 开发和部署大数据分析应用，为用户或系统提供有价值的信息。 4. **大数据框架提供者** - 提供处理大数据所需的平台和工具，如Hadoop、Spark等，支持分布式计算和存储。 5. **数据消费者** - 使用分析结果的个人或系统，可以是内部用户、其他系统或者最终客户。 此外，BDRA的逻辑构件间的关系通过数据、软件和服务使用的箭头表示，描述了系统中的数据流动、软件工具和接口交互。参考架构不仅适用于单一系统，也适应于复杂系统，例如堆叠或链式系统，其中系统间的使用者和提供者相互作用。 大数据架构与关键技术是现代信息技术中不可或缺的部分，它涉及到数据的收集、处理、分析和利用，为企业决策和创新提供了强大的支持。理解并应用好这个架构可以帮助企业更好地应对大数据带来的挑战和机遇。