TDW(Tencent Distributed Data Warehouse) Overview
MapReduce
Spark
Hive/Pig
IDE
Lhoste(Workflow System)
GAIA(Based on YARN)
Gaia集群结点数: 8000+
HDFS的存储空间: 150PB+
每天新增数据: 1PB+
每天仸务数: 1M+
每天计算量: 10PB+
User defined jobs
(Scala/Java/Python/....)
HDFS
Storm
Docker
IDE: 用于提交SQL戒脚本的Eclipse插件和Web界面
Lhoste: 各类作业的工作流调度系统,类似于Oozie
GAIA: 基于YARN进行定制和优化的资源管理系统
User
评论18
最新资源