实时数仓实时数仓|你需要的是一款强大的你需要的是一款强大的OLAP引擎引擎
在开源盛世的今天，实时数仓的建设业界已经有了成熟的方案。技术选型上实时计算、消息队列都有最优解，唯独在 OLAP
领域，百家争鸣，各有所长。
大数据领域开源 OLAP 引擎包括不限于 Hive、Hawq、Presto、Kylin、Impala、SparkSQL、Druid、Clickhouse、Greeplum
等等。我们就各个常用开源 OLAP 引擎的优缺点和使用场景做出详细对比，让开发者进行技术选型时做到心中有数。
前言
今年有个现象，实时数仓建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库的文章和方案。
但是对于实时数仓的狂热追求大可不必。
首先，在技术上几乎没有难点，基于强大的开源中间件实现实时数据仓库的需求已经变得没有那么困难。其次，实时数仓的建
设一定是伴随着业务的发展而发展，武断的认为Kappa架构一定是最好的实时数仓架构是不对的。实际情况中随着业务的发展
数仓的架构变得没有那么非此即彼。
在整个实时数仓的建设中，OLAP数据库的选型直接制约实时数仓的可用性和功能性。本文从业内几个典型的数仓建设和发展
情况入手，从架构、技术选型和优缺点分别给大家分析现在市场上的开源OLAP引擎，旨在方便大家技术选型过程中能够根据
实际业务进行选择。
管中窥豹-菜鸟/知乎/美团/网易严选实时数仓建设
为什么要构建实时数据仓库
传统的离线数据仓库将业务数据集中进行存储后，以固定的计算逻辑定时进行ETL和其它建模后产出报表等应用。离线数据仓
库主要是构建T+1的离线数据，通过定时任务每天拉取增量数据，然后创建各个业务相关的主题维度数据，对外提供T+1的数
据查询接口。计算和数据的实时性均较差，业务人员无法根据自己的即时性需要获取几分钟之前的实时数据。数据本身的价值
随着时间的流逝会逐步减弱，因此数据发生后必须尽快的达到用户的手中，实时数仓的构建需求也应运而生。
总之就是一句话：时效性的要求。
阿里菜鸟的实时数仓设计
菜鸟的实时数仓整体设计如上图，基于业务系统的数据，数据模型是传统的分层汇总设计（明细/轻度汇总/高度汇总）；计算
引擎，选择的是阿里内部的Blink；数据访问用天工接入(天工是一个连接多种数据源的工具，目的是屏蔽大量的对各种数据库
的直连)；数据应用对应的是菜鸟的各个业务。
菜鸟的实时数仓的架构设计是一个很典型很经得起考验的设计。实时数据接入部分通过消息中间件(开源大数据领域非Kafka莫
属，Pulsar是后起之秀)，Hbase作为高度汇总的K-V查询辅助。
那么大量的对业务的直接支撑在哪里？在这里：ADS。
ADS（后更名为ADB，加入新特性）是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算数据
库。参考
剩余15页未读，继续阅读
资源评论
weixin_38602982
- 粉丝: 7
- 资源: 977
最新资源
- 基于java的自习室管理和预约系统设计与实现.docx
- C++实现的基于huffman编码的文件压缩解压demo，供学习用
- No.1176 基于组态王和S7-200 PLC的锅炉温度控制系统设计 带解释的梯形图程序，接线图原理图图纸，io分配，组态画面
- 固体电介质电树枝击穿，以及SF6气体，流注放电过程
- libstdc++.so.6
- 两相交错并联buck boost变器仿真 采用双向结构，管子均为双向管 模型内包含开环，电压单环，电压电流双闭环三种控制方式 两个电感的电流均流控制效果好 matlab simulink plecs仿
- springboot在线教育平台.zip
- “互联网+”中国脉动地图——腾讯移动互联发展指数报告.pdf
- 【报告PDF】破解网络视频创新广告形式.pdf
- 【报告PDF】2015汽车消费新常态研究.pdf
- opencv-4.10.0-vs2019-x86
- 7大员工内推明星业.pdf
- 2013爱德曼新兴市场信任度调查.pdf
- 2014-2015 数字营销和O2O趋势.pdf
- 2014Q4与2015Q1新增对比报告.pdf
- 2014爱德曼中国企业信任度调查.pdf
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
