大数据技术之Azkaban(V3.1).docx

浏览量·35
DOCX
1.98MB
2021-09-07 17:28:53 上传
身份认证 购VIP最低享 7 折!
评论 收藏
版权申诉
智慧化智能化数字化方案
  • 粉丝: 102
  • 资源: 9071
前往需求广场,查看用户热搜
上传资源 快速赚钱
精品专辑
内容简介:—————————————————————————————大数据技术之 Azkaban版本:V3.1第 1 章 Azkaban 概论1.1 为什么需要工作流调度系统1)一个完整的数据分析系统通常都是由大量任务单元组成:Shell 脚本程序,Java 程序,MapReduce 程序、Hive 脚本等2)各任务单元之间存在时间先后及前后依赖关系3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;1.2 常见工作流调度系统1)简单的任务调度:直接使用 Linux 的 Crontab 来定义;2)复杂的任务调度:开发调度平台或使用现成的开源调度系统,比如 Ooize、Azkaba...