辨析数仓、大数据、数据中台的实质(内附21张架构图) (2).docx
版权申诉
41 浏览量
2022-06-18
14:37:03
上传
评论
收藏 2.23MB DOCX 举报
辨析数仓、大数据■数据中台的实质
本人断断续续从事数据仓库约有五六年经验 在移动公司前三年是负责数 据
Z
仓库项目实施，后四年开发搞大数据平台,见证了从传统数据仓库转型到大 数据
平台的全历程,见证了大数据平台从 O 到 1 的全部过程,包括第一个 MPP 数据集
市、第一个 Hadoop 集群项目、第一个流式数据处理项目，第一个完整 的大数据
平台的融合和构建,混搭式大数据平台的融合构建,大数据平台的迁 移等等,我所
经历的大数据平台从规模说大不大说小不小,每天处理数据量将 近 20T（实时处
理月 IOT 左右），总集群约 300 台（其中 HadoOP 节点约 200 台），总容量约
8P ,实际使用容量约 5P ;包括了从数据仓库到大数据平台数 据模型的重构,数据
模型的拓展；也包括了大数据平台提供各种对内应用的规 划,和向外提供大数据
应用。因此对数据仓库和大数据平台的优缺点、各自存 在的问题、疑惑、发展方
向，也算有一定的认知，包括对新生的数据中台的发 展方向 结合自己过往的经
Z
验，谈谈自己的一些想法。
什么是数据中台？
1
说实在的,互联网是制造新名词的地方，现在各种新名词层出不穷，顶层 的
有数字城市、智慧地球、智慧城市、城市大脑；企业层面的有数字化转型、 互联
网经济，数字经济、数字平台；平台层面的有物联网，云计算,大数据, 5G ,人工
智能，机器智能,深度学习，知识图谱；技术层面的有数据仓库、数 据集市、大
数据平台、数据湖、数据中台、业务中台、技术中台等等，总之是 你方唱罢他登
场，各种概念满天飞…在比拼新经济的过程中,其实比拼的是流 量也就是用户，
但流量不等于用户 用户也不完全等同于流量;有了流量和用 户,就等于比拼了对
Z
用户的话语权。各种互联网概念也是如此，单纯从传统的 数据仓库或是大数据平
剩余17页未读，继续阅读
资源评论
