没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
开发者社区 阿里云实时计算
实时计算交流钉钉群 Flink 社区微信公众号
扫一扫二维码图案,关注我吧
Apache Flink 进阶(一):Runtime 核心机制剖析 4
Apache Flink 进阶(二):时间属性深度解析 18
Apache Flink 进阶(三):Checkpoint 原理剖析与应用实践 30
Apache Flink 进阶(四):Flink on Yarn/K8s 原理剖析及实践 41
Apache Flink 进阶(五):数据类型和序列化 60
Apache Flink 进阶(六):Flink 作业执行深度解析
71
Apache Flink 进阶(七):网络流控及反压剖析 88
Apache Flink 进阶(八):详解 Metrics 原理与实战
112
Apache Flink 进阶(九):Flink Connector 开发 125
Apache Flink 进阶(十):Flink State 最佳实践 141
Apache Flink 进阶(十一):TensorFlow On Flink 149
Apache Flink 进阶(十二):深度探索 Flink SQL 159
Apache Flink 进阶(十三):Python API 应用实践 181
目录
Apache Flink 进阶(一):Runtime 核心机制剖析
作者:高赟(云骞)
阿里巴巴技术专家
简介:Flink 的整体架构如图 1 所示。Flink 是可以运行在多种不同的环境中的,
例如,它可以通过单进程多线程的方式直接运行,从而提供调试的能力。它也可以运
行在 Yarn 或者 K8S 这种资源管理系统上面,也可以在各种云环境中执行。
1. 综述
本文主要介绍 Flink Runtime 的作业执行的核心机制。首先介绍 Flink Runtime
的整体架构以及 Job 的基本执行流程,然后介绍在这个过程,Flink 是怎么进行资源
管理、作业调度以及错误恢复的。最后,本文还将简要介绍 Flink Runtime 层当前正
在进行的一些工作。
2. Flink Runtime 整体架构
Flink 的整体架构如图 1 所示。Flink 是可以运行在多种不同的环境中的,例如,
它可以通过单进程多线程的方式直接运行,从而提供调试的能力。它也可以运行在
Yarn 或者 K8S 这种资源管理系统上面,也可以在各种云环境中执行。
Apache Flink 进阶(一):Runtime 核心机制剖析 < 5
图1 Flink 的整体架构,其中 Runtime 层对不同的执行环境提供了一套统一的分布式执行引擎
针对不同的执行环境,Flink 提供了一套统一的分布式作业执行引擎,也就是
Flink Runtime 这层。Flink 在 Runtime 层之上提供了 DataStream 和 DataSet 两
套 API,分别用来编写流作业与批作业,以及一组更高级的 API 来简化特定作业的
编写。本文主要介绍 Flink Runtime 层的整体架构。
Flink Runtime 层的主要架构如图 2 所示,它展示了一个 Flink 集群的基本结
构。Flink Runtime 层的整个架构主要是在 FLIP-6 中实现的,整体来说,它采用了
标准 master-slave 的结构,其中左侧白色圈中的部分即是 master,它负责管理整
个集群中的资源和作业;而右侧的两个 TaskExecutor 则是 Slave,负责提供具体的
资源并实际执行作业。
剩余203页未读,继续阅读
资源评论
慕慕老师
- 粉丝: 0
- 资源: 5
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功