4星 · 超过85%的资源 需积分: 11 9 下载量 170 浏览量
2014-05-29
14:08:20
上传
评论
收藏 1.37MB PDF 举报 
淘宝数据魔方的系统架构
殷琳君（长林）
Agenda
□ 数据产品总体架构
□ 分布式MySQL集群
□ NoSQL存储与计算
□ 统一的数据中间层
□ 通用数据报表框架
每天的数据
□ 淘宝主站：
• 30亿店铺、宝贝浏览
• 千万量级交易笔数
□ 数据产品：
• 60G统计汇总结果
• 千万量级数据查询请求
海量数据带来的挑战
□ 计算
□ 存储
□ 读写
架构总览
MyFOX Prom
存
储
层
Hadoop集群
计
算
层
实时流数据
数据中间层 / glider
查
询
层
数据魔方 淘宝指数 开放API
产
品
DataX / TimeTunnel
主站备库 RAC 主站日志
数
据
源
评论1
最新资源