数据中台之结构化大数据存储设计.doc

数据中台之结构化大数据存储设计 1. 前言 任何应用系统都离不开对数据的处理，数据也是驱动业务创新以及向智能化发展最核 心的东西。这也是为何目前大多数企业都在构建数据中台的原因，数据处理的技术已经 是核心竞争力。在一个完备的技术架构中,通常也会由应用系统以及数据系统构成.应用 系统负责处理业务逻辑，而数据系统负责处理数据。 传统的数据系统就是所谓的『大数据』技术，这是一个被创造出来的名词，代表着新 的技术门槛。近几年得益于产业的发展、业务的创新、数据的爆发式增长以及开源技术 的广泛应用，经历多年的磨炼以及在广大开发者的共建下，大数据的核心组件和技术架 构日趋成熟。特别是随着云的发展，让『大数据』技术的使用门槛进一步降低，越来越 多的业务创新会由数据来驱动完成。 『大数据』技术会逐步向轻量化和智能化方向发展，最终也会成为一个研发工程师的 必备技能之一，而这个过程必须是由云计算技术来驱动以及在云平台之上才能完成。应 用系统和数据系统也会逐渐融合,数据系统不再隐藏在应用系统之后，而是也会贯穿在整 个业务交互逻辑。传统的应用系统，重点在于交互。而现代的应用系统,在与你交互的同 时，会慢慢的熟悉你。数据系统的发展驱动了业务系统的发展，从业务化到规模化,再到 智能化. 业务化：完成最基本的业务交互逻辑. 规模化：分布式和大数据技术的应用，满足业务规模增长的需求以及数据的积累。 智能化：人工智能技术的应用，挖掘数据的价值，驱动业务的创新. 向规模化和智能化的发展,仍然存在一定的技术门槛。成熟的开源技术的应用能让一 个大数据系统的搭建变得简单,同时大数据架构也变得很普遍，例如广为人知的Lambda架 构,一定程度上降低了技术的入门门槛.但是对数据系统的后续维护，例如对大数据组件 的规模化应用、运维管控和成本优化，需要掌握大数据、分布式技术及复杂环境下定位 问题的能力,仍然具备很高的技术门槛。 数据系统的核心组件包含数据管道、分布式存储和分布式计算，数据系统架构的搭建 会是使用这些组件的组合拼装。每个组件各司其职，组件与组件之间进行上下游的数据 交换,而不同模块的选择和组合是架构师面临的最大的挑战。 本篇文章主要面向数据系统的研发工程师和架构师,我们会首先对数据系统核心组件 进行拆解，介绍每个组件下对应的开源组件以及云上产品。之后会深入剖析数据系统中 结构化数据的存储技术,介绍阿里云Tablestore选择哪种设计理念来更好的满足数据系统 中对结构化数据存储的需求。 2. 数据系统架构 1. 核心组件 上图是一个比较典型的技术架构，包含应用系统和数据系统.这个架构与具体业务无 关联，主要用于体现一个数据应用系统中会包含的几大核心组件，以及组件间的数据流 关系.应用系统主要实现了应用的主要业务逻辑，处理业务数据或应用元数据等。数据系 统主要对业务数据及其他数据进行汇总和处理，对接BI、推荐或风控等系统.整个系统架 构中,会包含以下比较常见的几大核心组件： 1. 关系数据库：用于主业务数据存储，提供事务型数据处理，是应用系统的核心数据存 储。 2. 高速缓存：对复杂或操作代价昂贵的结果进行缓存，加速访问。 3. 搜索引擎：提供复杂条件查询和全文检索。 4. 队列：用于将数据处理流程异步化，衔接上下游对数据进行实时交换。异构数据存储 之间进行上下游对接的核心组件，例如数据库系统与缓存系统或搜索系统间的数据 对接。也用于数据的实时提取，在线存储到离线存储的实时归档。 5. 非结构化大数据存储:用于海量图片或视频等非结构化数据的存储,同时支持在线查询 或离线计算的数据访问需求. 6. 结构化大数据存储:在线数据库也可作为结构化数据存储,但这里提到的结构化数据存 储模块，更偏在线到离线的衔接，特征是能支持高吞吐数据写入以及大规模数据存 储，存储和查询性能可线性扩展。可存储面向在线查询的非关系型数据，或者是用 于关系数据库的历史数据归档，满足大规模和线性扩展的需求，也可存储面向离线 分析的实时写入数据。 7. 批量计算：对非结构化数据和结构化数据进行数据分析，批量计算中又分为交互式分 析和离线计算两类,离线计算需要满足对大规模数据集进行复杂分析的能力，交互 式分析需要满足对中等规模数据集实时分析的能力。 8. 流计算：对非结构化数据和结构化数据进行流式数据分析，低延迟产出实时视图。 对于数据存储组件我们再进一步分析，当前各类数据存储组件的设计是为满足不同场 景下数据存储的需求，提供不同的数据模型抽象，以及面向在线和离线的不同的优化偏 向。我们来看下下面这张详细对比表: 2. 派生数据体系 在数据系统架构中，我们可以看到会存在多套存储组件.对于这些存储组件中的数据 ，有些是来自应用的直写，有些是来自其他存储组件的数据复制。例如业务关系数据库 的数据通常是来自业 数据中台是现代企业信息化建设的关键组成部分，它旨在整合、处理和分析大量数据，以支持业务决策和创新。本文档重点关注结构化大数据存储设计，这是数据中台建设的基础。 数据中台的构建是为了应对数据爆炸性增长的挑战，传统的关系型数据库往往无法满足这种大规模、高并发的数据处理需求。大数据技术的出现，如Hadoop、Spark等，提供了处理海量数据的能力，降低了技术门槛。随着云计算的发展，这些技术变得更加易于使用和部署，推动了数据驱动的业务创新。 数据系统架构通常由多个核心组件构成，包括应用系统和数据系统。应用系统处理业务逻辑，而数据系统则负责数据的存储、处理和分析。数据系统包含关系数据库、高速缓存、搜索引擎、队列、非结构化大数据存储、结构化大数据存储、批量计算和流计算等组件。每个组件都有特定的功能，如关系数据库用于事务处理，高速缓存提高访问速度，队列实现数据异步处理，非结构化存储处理图像和视频等数据，结构化存储则兼顾在线和离线需求，批量计算和流计算分别针对离线和实时分析。 结构化大数据存储是连接在线和离线数据处理的关键。例如，阿里云Tablestore作为一种分布式表格存储服务，设计上可能侧重于高吞吐写入、大规模数据存储以及线性扩展能力，适合存储非关系型数据、历史数据归档和大规模分析。此外，数据系统中的存储组件设计有不同优化，如面向在线的高并发读写优化和面向离线的批量处理优化。 数据系统架构中的派生数据体系意味着数据在不同组件间流动和转换。例如，业务数据库的数据可能会被复制到缓存或搜索引擎，以提升查询效率；而流计算则实时处理数据流，提供低延迟的洞察。这种多组件协同工作的方式使得数据中台能够支持复杂的业务逻辑和分析需求。 在实际操作中，数据系统的维护和优化是个挑战，需要对大数据、分布式计算和云技术有深入了解。通过选择合适的开源组件和云产品，结合企业的业务场景，可以构建出高效、稳定且成本效益高的数据中台。 数据中台之结构化大数据存储设计是当前企业信息化发展的关键，它涉及到多个层面，包括技术选型、架构设计、组件优化以及数据管理。理解和掌握这些知识点对于数据系统的研发工程师和架构师至关重要，因为这直接影响到企业能否充分利用数据资源，实现业务的智能化和规模化发展。