没有合适的资源?快使用搜索试试~ 我知道了~
五分钟学大数据-美团数据平台及数仓建设实践(全网独发)1
需积分: 0 14 下载量 83 浏览量
2022-08-03
16:16:41
上传
评论
收藏 17.96MB PDF 举报
温馨提示
试读
290页
引言72实时平台初期架构 73实时数据仓库的构建 73展望83数据平台83六、美团数据平台融合实践 84确立目标 86难点87数据互访打通 90集群融合 95开
资源推荐
资源详情
资源评论
本文档首发于公众号:五分钟学大数据
2 / 290
目录
离线数仓
.............................................................................................................................................
5
一、美团外卖离线数仓建设实践
............................................................................................
5
1. 整体架构介绍
...............................................................................................................
6
2. 数仓建设
.......................................................................................................................
8
3. 数据治理
.....................................................................................................................
21
4. 未来规划
.....................................................................................................................
27
二、OneData 建设探索之路:SaaS 收银运营数仓建设
....................................................
30
背景
...................................................................................................................................
30
目标
...................................................................................................................................
31
OneData 探索
..................................................................................................................
31
OneData 实践
..................................................................................................................
34
实践的成果
......................................................................................................................
45
总结和展望
......................................................................................................................
48
三、美团点评酒旅数据仓库建设实践
..................................................................................
48
技术架构
..........................................................................................................................
48
业务架构
..........................................................................................................................
51
整体架构
..........................................................................................................................
54
实时数仓
..........................................................................................................................................
58
四、美团外卖实时数仓建设实践
..........................................................................................
58
01 实时场景
....................................................................................................................
59
02 实时技术及架构
........................................................................................................
59
03 业务痛点
....................................................................................................................
62
04 数据特点与应用场景
................................................................................................
63
05 实时数仓架构设计
....................................................................................................
64
06 实时平台化建设
........................................................................................................
66
07 实时应用案例
............................................................................................................
71
五、美团基于 Flink 的实时数仓建设实践
..........................................................................
72
引言
...................................................................................................................................
72
实时平台初期架构
..........................................................................................................
73
实时数据仓库的构建
......................................................................................................
73
展望
...................................................................................................................................
83
数据平台
...........................................................................................................................................
83
六、美团数据平台融合实践
..................................................................................................
84
确立目标
..........................................................................................................................
86
难点
...................................................................................................................................
87
数据互访打通
..................................................................................................................
90
集群融合
..........................................................................................................................
95
开发工具融合
................................................................................................................
104
原点评侧拆库
................................................................................................................
105
未来——常态化多机房方案
........................................................................................
109
反思——技术换运营
....................................................................................................
110
体会——复杂系统重构与融合
....................................................................................
111
本文档首发于公众号:五分钟学大数据
3 / 290
七、研发团队资源成本优化实践
........................................................................................
113
背景
................................................................................................................................
113
实践
................................................................................................................................
114
总结
................................................................................................................................
126
数据分析
.........................................................................................................................................
126
八、美团点评运营数据产品化应用与实践
........................................................................
127
背景
................................................................................................................................
127
挑战
................................................................................................................................
127
方案
................................................................................................................................
128
数据仓库层
....................................................................................................................
130
多维预计算层
................................................................................................................
134
中台服务层
....................................................................................................................
135
总体架构
........................................................................................................................
136
数据可视化
....................................................................................................................
141
总结
................................................................................................................................
144
九、流量运营数据产品最佳实践——美团旅行流量罗盘
................................................
145
背景
................................................................................................................................
145
挑战
................................................................................................................................
146
解决思路
........................................................................................................................
146
解决方案
........................................................................................................................
147
评价指标
........................................................................................................................
156
总结
................................................................................................................................
157
展望
................................................................................................................................
157
数据治理
.........................................................................................................................................
159
十、美团配送数据治理实践
................................................................................................
159
1. 如何理解数据治理
...................................................................................................
159
2. 要达成的目标
...........................................................................................................
160
3. 何时进行数据治理
...................................................................................................
160
4.如何开展数据治理
.....................................................................................................
161
5. 工具简介
...................................................................................................................
179
6.总结与展望
.................................................................................................................
186
十一、美团酒旅数据治理实践
............................................................................................
187
一、背景
........................................................................................................................
187
二、数据治理实践
........................................................................................................
190
三、未来规划
................................................................................................................
209
十二、DataMan-美团旅行数据质量监管平台实践
..........................................................
210
背景
................................................................................................................................
210
挑战
................................................................................................................................
211
解决思路
........................................................................................................................
211
技术方案
........................................................................................................................
217
系统展示
........................................................................................................................
224
总结
................................................................................................................................
227
数据同步
.........................................................................................................................................
228
十三、美团 DB 数据同步到数据仓库的架构与实践
.........................................................
228
本文档首发于公众号:五分钟学大数据
4 / 290
背景
................................................................................................................................
228
整体架构
........................................................................................................................
229
Binlog 实时采集
............................................................................................................
230
离线还原 MySQL 数据
..................................................................................................
232
实践一:分库分表的支持
............................................................................................
237
实践二:删除事件的支持
............................................................................................
238
总结与展望
....................................................................................................................
239
Doris 和 Kylin 实践
.......................................................................................................................
240
十四、Apache Doris 在美团外卖数仓中的应用实践
........................................................
240
序言
................................................................................................................................
240
数仓交互层引擎的应用现状
........................................................................................
241
汇总数据的交互
............................................................................................................
241
数据生产面临的挑战
....................................................................................................
242
解决方案:引入 MPP 引擎,数据现用现算
..............................................................
243
双引擎下的应用场景适配问题
....................................................................................
245
MPP 引擎的选型
...........................................................................................................
246
Doris 简介及特点
..........................................................................................................
247
Doris 在外卖数仓中的应用效率
..................................................................................
248
准实时场景下的应用
....................................................................................................
249
Doris 引擎在美团的重要改进
......................................................................................
251
总结与思考
....................................................................................................................
256
十五、Apache Kylin 的实践与优化
.....................................................................................
257
背景
................................................................................................................................
257
问题与目标
....................................................................................................................
258
优化前提-原理解读
......................................................................................................
260
过程分析-层层拆解
......................................................................................................
262
实施路线-由点及面
......................................................................................................
270
成果展示
........................................................................................................................
272
展望
................................................................................................................................
273
A/B 测试
.........................................................................................................................................
274
十六、美团配送
A/B
评估体系建设实践
...........................................................................
274
1. A/B 平台简介
.............................................................................................................
275
2.为什么要强调评估体系建设
.....................................................................................
276
3.A/B 评估体系构建
......................................................................................................
278
4. 总结与展望
...............................................................................................................
289
本文档首发于公众号:五分钟学大数据
5 / 290
离线数仓
一、美团外卖离线数仓建设实践
导读:美团外卖数据仓库主要是收集各种用户终端业务、行为数据,通过统一口
径加工处理,通过多种数据服务支撑主题报表、数据分析等多种方式的应用。数
据组作为数据基础部门,支持用户端、商家端、销售、广告、算法等各个团队的
数据需求。本文主要介绍美团外卖离线数仓的历史发展历程,在发展过程中碰到
的痛点问题,以及针对痛点做的一系列优化解决方案。
01
业务介绍
首先介绍下美团外卖的业务场景, 核心交易链路为:用户可以通过美团的各种
用户终端(包括美团外卖的
APP
或者美团
APP
、
QQ/
微信等)下单,然后商家
接单、骑手配送,三个阶段完成一笔交易。这一系列交易过程,由包括用户端、
商家端、配送平台、数据组、广告组等各个系统协同完成。
这里主要介绍外卖数据组在整个业务中角色。外卖数据组主要是:
给用户端、商家端提供业务需求,
给前端提供需要展示的数据,
给广告、算法团队提供特征等数据,提高算法效率
剩余289页未读,继续阅读
资源评论
LauraKuang
- 粉丝: 17
- 资源: 335
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- elasticsearch-spring-boot-starter.7z
- Anti-Cheat Toolkit 2023 v2023.2.5
- 使用堆栈数据结构解迷宫问题
- SoftFloat-3e.zip
- Easy Save - 3.5.6
- 基于tensorflow的目标检测系统源码+部署教程文档+全部数据+训练好的模型(高分项目)
- 基于Python皮肤电信号的情绪识别算法源码+模型+PPT+详细文档+全部数据资料.zip
- 基于Python皮肤电信号的情绪识别算法源码+模型+PPT+详细文档+全部数据资料.zip
- 区块链毕业设计 基于区块链的慈善募捐平台的智能合约源码+详细文档+全部资料(高分项目).zip
- 区块链毕业设计 基于区块链的慈善募捐平台的智能合约源码+详细文档+全部资料(高分项目).zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功