数据中台之结构化大数据存储设计.docx
版权申诉
145 浏览量
2022-11-17
05:39:32
上传
评论
收藏 438KB DOCX 举报
数据中台之结构化大数据存储设计
一. 前言
任何应用系统都离不开对数据的处理，数据也是驱动业务创新以及向智能化发展最核心
的东西。这也是为何目前大多数企业都在构建数据中台的原因，数据处理的技术已经是核心
竞争力。在一个完备的技术架构中，通常也会由应用系统以及数据系统构成。应用系统负责
处理业务逻辑，而数据系统负责处理数据。
传统的数据系统就是所谓的『大数据』技术，这是一个被创造出来的名词，代表着新的
技术门槛。近几年得益于产业的发展、业务的创新、数据的爆发式增长以及开源技术的广泛
应用，经历多年的磨炼以及在广大开发者的共建下，大数据的核心组件和技术架构日趋成熟。
特别是随着云的发展，让『大数据』技术的使用门槛进一步降低，越来越多的业务创新会由
数据来驱动完成。
『大数据』技术会逐步向轻量化和智能化方向发展，最终也会成为一个研发工程师的必
备技能之一，而这个过程必须是由云计算技术来驱动以及在云平台之上才能完成。应用系统
和数据系统也会逐渐融合，数据系统不再隐藏在应用系统之后，而是也会贯穿在整个业务交
互逻辑。传统的应用系统，重点在于交互。而现代的应用系统，在与你交互的同时，会慢慢
的熟悉你。数据系统的发展驱动了业务系统的发展，从业务化到规模化，再到智能化。
业务化：完成最基本的业务交互逻辑。
规模化：分布式和大数据技术的应用，满足业务规模增长的需求以及数据的积累。
智能化：人工智能技术的应用，挖掘数据的价值，驱动业务的创新。
向规模化和智能化的发展，仍然存在一定的技术门槛。成熟的开源技术的应用能让一个
大数据系统的搭建变得简单，同时大数据架构也变得很普遍，例如广为人知的Lambda架构，
一定程度上降低了技术的入门门槛。但是对数据系统的后续维护，例如对大数据组件的规模
化应用、运维管控和成本优化，需要掌握大数据、分布式技术及复杂环境下定位问题的能力，
仍然具备很高的技术门槛。
数据系统的核心组件包含数据管道、分布式存储和分布式计算，数据系统架构的搭建会
是使用这些组件的组合拼装。每个组件各司其职，组件与组件之间进行上下游的数据交换，
而不同模块的选择和组合是架构师面临的最大的挑战。
本篇文章主要面向数据系统的研发工程师和架构师，我们会首先对数据系统核心组件进
行拆解，介绍每个组件下对应的开源组件以及云上产品。之后会深入剖析数据系统中结构化
数据的存储技术，介绍阿里云 Tablestore选择哪种设计理念来更好的满足数据系统中对结构
化数据存储的需求。
二. 数据系统架构
1. 核心组件
评论0
最新资源