ApacheFlink状态管理和容错机制介绍状态管理和容错机制介绍
一、有状态的流数据处理
1、什么是有状态的计算
计算任务的结果不仅仅依赖于输入，还依赖于它的当前状态，其实大多数的计算都是有状态的计算。
比如wordcount,给一些word,其计算它的count,这是一个很常见的业务场景。count做为输出，在计算的过程中要不断的把输入
累加到count上去，那么count就是一个state。
2、传统的流计算系统缺少对于程序状态的有效支持
状态数据的存储和访问；
状态数据的备份和恢复；
状态数据的划分和动态扩容。
在传统的批处理中，数据是划分为块分片去完成的，然后每一个Task去处理一个分片。当分片执行完成后，把输出聚合起来
就是最终的结果。在这个过程当中，对于state的需求还是比较小的。
对于流计算而言，对State有非常高的要求，因为在流系统中输入是一个无限制的流，会运行很长一段时间，甚至运行几天或
者几个月都不会停机。在这个过程当中，就需要将状态数据很好的管理起来。很不幸的是，在传统的流计算系统中，对状态管
理支持并不是很完善。比如storm,没有任何程序状态的支持，一种可选的方案是storm+hbase这样的方式去实现，把这状态数
据存放在Hbase中，计算的时候再次从Hbase读取状态数据，做更新在写入进去。这样就会有如下几个问题
流计算系统的任务和Hbase的数据存储有可能不在同一台机器上，导致性能会很差。这样经常会做远端的访问，走网络和存
储；
备份和恢复是比较困难，因为Hbase是没有回滚的，要做到Exactly onces 很困难。在分布式环境下，如果程序出现故障，只
能重启Storm，那么Hbase的数据也就无法回滚到之前的状态。
比如广告计费的这种场景，Storm+Hbase是是行不通的，出现的问题是钱可能就会多算，解决以上的办法是Storm+mysql，通
过mysql的回滚解决一致性的问题。但是架构会变得非常复杂。性能也会很差，要commit确保数据的一致性。
对于storm而言状态数据的划分和动态扩容也是非常难做。
一个很严重的问题是所有用户都会在strom上重复的做这些工作，比如搜索，广告都要在做一遍，由此限制了部门的业务发
展。
3、Flink丰富的状态访问和高效的容错机制
Flink在最早设计的时候就意识到了这个问题，并提供了丰富的状态访问和容错机制。如下图所示：
Flink并且提供了丰富的状态访问和高效的容错机制
剩余9页未读，继续阅读
资源评论
weixin_38668243
- 粉丝: 5
- 资源: 956
最新资源
- 第一章内容有关源码（Bayesian Analysis with Python 3rd Edition)
- X-Anylabeling 数据标注工具
- 基于matlab实现的声纹识别功能完整项目代码.zip
- Python基础学习-02转义、输入、函数
- cisco AP 3600系列 Recovery 包
- 基于stm32的智能家居系统设计+答辩ppt和论文资料+完整源代码（高分毕设）
- 基于jetsonagxorin-linux的opencv的相机测试仓库
- m3u8下载器 下载M3U8格式的视频
- 项目名称：大学食堂人事管理系统 软件环境：intellij IDEA + maven + SpringBoot+ mybati
- 基于C++的可跨平台(主要针对win平台)的支持多线程的分布式缓存，兼容redis command，目前正在开发中
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
