"Flink环境下基于负载预测的弹性资源调度策略" Flink环境下基于负载预测的弹性资源调度策略是流式计算平台中的一种重要技术,旨在解决流式计算平台中由于负载波动环境下资源不足导致性能下降的问题。该策略通过机器学习算法实现动态弹性资源调度,能够适应未来一段时间的负载变化,并且可以从局部发现集群的性能瓶颈。 Flink环境下基于负载预测的弹性资源调度策略的主要贡献包括: 1. 将机器学习算法应用于流式计算平台底层优化,提出基于时间序列的预测算法,在负载剧烈波动的场景中取得较高的预测准确性。 2. 在负载预测模型的基础上提出负载预测算法,根据已知的负载变化规律预测未来的变化趋势,并将作业的拓扑结构抽象为预测网络模型。 3. 在资源判定模型的基础上提出资源判定算法,针对集群存在的资源瓶颈与资源过剩的问题,制定相应的弹性资源调度计划,动态改变集群的规模与作业的拓扑结构,优化集群的资源配置。 4. 针对弹性资源调度开销过高的问题,提出基于同步计算和异步状态数据拉取的在线负载迁移算法,通过在线迁移计算负载和状态数据,实现对用户透明的高效弹性资源调度。 Flink环境下基于负载预测的弹性资源调度策略的优点包括: 1. 能够适应未来一段时间的负载变化。 2. 能够从局部发现集群的性能瓶颈。 3. 能够动态改变集群的规模与作业的拓扑结构,优化集群的资源配置。 4. 能够实现对用户透明的高效弹性资源调度。 Flink环境下基于负载预测的弹性资源调度策略的应用前景非常广阔,能够应用于智能家居、智能医疗、智能工业、智能汽车等物联网场景下产生的数据量日益增多,并与互联网共同成为各行各业大数据的主要来源。 Flink环境下基于负载预测的弹性资源调度策略是一种非常重要的技术,可以解决流式计算平台中由于负载波动环境下资源不足导致性能下降的问题,并且能够适应未来一段时间的负载变化,实现对用户透明的高效弹性资源调度。
剩余28页未读,继续阅读
- 粉丝: 3945
- 资源: 1万+
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助