java安卓辅助源码-big_data_architect_skills:一个大数据架构师应该掌握的技能

java安卓辅助源码 ---- 持续更新中 ---- 关于软实力部分同步会更新场景落地 ---- ---- ---- 技能图 大数据架构师该掌握的技能 主要分为两块 与 一.平台建设 二.数据搜集 三.数据价值 四.数据安全 五.质量保障 六.个人素质 七.技术能力 八.产品与运营思维 九.团队建设管理能力 十.人生开悟之路 一：平台建设 1.行业平台 1）大平台 亚马逊云 阿里云 腾讯云 网易云 华为云 2）小平台 国云 国双 青云 勤思 3）专业工具平台 4）APP分析平台 2.技术选型 1） 2） 3） 4） 3.平台架构 1）HDP Core(平台核心也是Hadoop core) HDFS(存储) MapReduce(批处理) Yarn(基础资源调度) 负责集群资源的统一管理和调度 单节点资源管理和使用 应用程序管理 对任务运行环境的抽象 支持运行长应用程序和短应用程序 支持docker fpga 期待更细粒度的资源控制 对比Mesos Oozie(任务调度编排) 平台调度的基础保障 hadoop 各种任务的使用与调度 对比 Azkaban Airflow Slider(调度支