基于基于ApacheFlink的一站式实时计算平台的一站式实时计算平台
一、背景介绍
TEG实时计算团队作为腾讯内部最大的实时数据服务部门，为业务部门提供高效、稳定和易用的实时数据服务。其每秒接入
的数据峰值达到了2.1亿条，每天接入的数据量达到了17万亿条，每天的数据增长量达到了3PB，每天需要进行的实时计算量
达到了20万亿次。
近年来大数据技术的发展，特别是HDFS和HBase这些大数据存储系统以及Hadoop和Spark这些大数据计算系统，已经使人们
能较好地处理数据规模的问题。但是人们对于数据内在价值的追求是无止境的。一方面，人们开发了越来越多复杂的数据挖掘
算法来发现数据更深层次的关系信息；而另一方面，由于数据价值往往随着时间的流逝而消失，人们对数据分析时效性的要求
也越来越高。越来越多的业务开始使用实时计算来及时获取数据反馈。
之前实时计算团队基于Apache Storm构建了早期的实时计算平台。但在长期的维护过程中，Apache Storm一些设计和实现上
的缺陷逐渐暴露出来。Apache Flink出现之后，其在计算接口、计算性能和可靠性上的优异表现，使我们决定使用Apache
Flink作为新一代实时计算平台的计算引擎。
相比于Storm和其他一些流计算框架，Flink有着更先进的计算框架，具有以下几点优势：
1）首先，Flink提供了更友好的编程接口。Storm提供的API偏底层且过于简单，用户需要大量的开发工作来完成业务需求。另
外，用户在开发Storm程序时的学习成本也较高，需要熟悉框架原理和在分布式环境下的执行细节。Flink除了提供Table API
和SQL这些高级的声明式编程语言之外，还对window这些流计算中常见的算子进行了封装，帮助用户处理流计算中数据乱序
到达等问题，极大的降低了流计算应用的开发成本并减少了不必要的重复开发。
2）Flink提供了有效的状态管理支持。大部分的计算程序都是有状态的，即计算结果不仅仅决定于输入，还依赖于计算程序当
前的状态。但Storm对程序状态的支持十分有限。一般情况下，用户常常需要将状态数据保存在MySQL和HBase这样的外部存
储中，自己负责这些状态数据的访问。这些对外部存储的访问常常成为Storm程序的性能瓶颈。大多数情况下，用户只能设计
剩余6页未读，继续阅读
资源评论
weixin_38665411
- 粉丝: 8
- 资源: 936
最新资源
- Chrome代理 switchyOmega
- GVC-全球价值链参与地位指数，基于ICIO表，（Wang等 2017a）计算方法
- 易语言ADS指纹浏览器管理工具
- 易语言奇易模块5.3.6
- cad定制家具平面图工具-(FG)门板覆盖柜体
- asp.net 原生js代码及HTML实现多文件分片上传功能（自定义上传文件大小、文件上传类型）
- whl@pip install pyaudio ERROR: Failed building wheel for pyaudio
- Constantsfd密钥和权限集合.kt
- 基于Java的财务报销管理系统后端开发源码
- 基于Python核心技术的cola项目设计源码介绍
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
