没有合适的资源?快使用搜索试试~ 我知道了~
Apache Flink 理论与实战精解 2021 版1
需积分: 0 0 下载量 172 浏览量
2022-08-03
23:51:03
上传
评论
收藏 4.96MB PDF 举报
温馨提示
试读
49页
摘要:本文由ApacheFlink中文社区发起人,阿里云计算平台事业部实时计算与开放平台部门负责人王峰分享,主要介绍 Flink 作为一款统一的流批一体引擎其发
资源详情
资源评论
资源推荐
1
12
CONTENT
目录
前沿洞察
阿里云贾扬清:大数据和人工智能一体化是必然趋势 01
05
22
36
53
71
82
Flink as a Unified Engine: Now and Next
Flink 助力美团数仓增量生产
Apache Flink 在快手的过去、现在和未来
Stream is the new file
为什么阿里云要做流批一体?
Apache Flink 1.12.0 正式发布,流批一体真正统一运行!
贾扬清:大数据和人工智能一体化是必然趋势
作者 贾扬清
阿里巴巴集团副总裁,阿里巴巴开源技术委员会负责人
12月13日,阿里云计算平台负责人贾扬清在 Flink Forward Asia 2020 峰会上指出,拥
抱“融合”是大数据演进的新方向,大数据和人工智能一体化是必然趋势,而人工智能是
大数据业务发展的终极出口。同时,他从不同角度讨论了Flink的开源技术,以及云时代下
开源技术的发展和未来思考。
贾扬清:大数据和人工智能一
体化是必然趋势
32
从一个普通开源技术爱好者视角,贾扬清将2020年 Flink 发展定义为“渐入佳境”,主要
体现在三大方面:
技术。今年 Flink 在技术方面取得两大新突破:一是 Flink 流批一体技术在阿里双11核心
数据业务场景规模化成功应用;二是 Flink 实时计算峰值首次突破40亿条/秒。同比去年,
不增加集群规模情况下提升了一倍的计算性能。
应用。Flink 不再是一个居庙堂之高的技术,而是成为开源流式处理的事实标准,飞入“
寻常百姓家”。比如中国信通院使用了 Flink 作为技术蓝本设计流式处理标准,云计算公
司包括阿里云等均使用 Flink 作为流式处理的底层引擎。
社群。Flink 开源社区高速增长,登顶 Apache 最活跃的邮件列表;Flink 项目是 Github
提交次数最多的 Apache 顶级项目之一。去年 Flink Forward Asia 参会人数达2000人,Flink
极客挑战赛吸引了4000+开发者参与;今年大会切换到线上、线下同时举办,Flink 极客挑战
赛的颁奖更让大家看到了越来越多开发者对于开源技术的热情以及勇于挑战的精神。
贾扬清认为:开源让云更标准化。他提到,云计算越来越趋于标准化对其自身发展非常有
利。云上大量的开发技术体系日趋一致,这意味着大量云计算开发者熟悉这套体系后更容
易把自己的应用变成云的一部分。
开源有助于阿里打破自有技术体系,在充分尊重用户原有使用习惯基础上,形成标准、开
放、公共的技术体系。单靠一家公司去制定标准非常难。
从组织来看,去年阿里巴巴集团成立开源技术委员会,从集团层面统一梳理和推进阿里巴
巴开源技术战略的执行。
开源让云更标准化
阿里云对于开源意味着什么?贾扬清提到以下三点:
Flink开源社区 “渐入佳境”
从参与度来看,阿里巴巴集团一开始就广泛采用开源技术构建自己的技术体系。以阿里云
计算平台事业部大数据产品为例,比如实时计算 Flink 都在大量使用 Hadoop/K8S 生态
的技术;机器学习 PAI 同样使用 TensorFlow 等开源深度学习框架。
从贡献度来看,阿里巴巴集团持续为开源社区贡献力量。以 Flink 技术社区为例,仅去年
一年阿里云就贡献百万行代码给 Apache Flink 社区。当前,集团开源项目数已超过1000
个,覆盖大数据、AI、云原生、数据库、中间件、硬件等多个领域,全世界有70多万开发
者为阿里点亮 GitHub Star ,成千上万的爱好者参与到项目贡献之中。
贾扬清表示,云的三大发展趋势主要是IT基础设施的云化、核心技术的互联网化、应用的
数据化和智能化,这也是云的核心价值所在。
企业在IT上云和业务互联网化之后,其应用必将从流程驱动变为数据智能驱动,实现数据
化和智能化。云计算、底层 IaaS 技术在比拼基础设施的成熟度、稳定性和价格,而上层
PaaS 技术要比的是数据能力、智能能力。
目前包括数据库、IOT 等泛大数据仍然处于大数据最基础的使用方式,需要整合更多大数
据和AI能力。
所以,拥抱“融合”是大数据演进的新方向,大数据+人工智能一体化是大数据发展的必
然方向,而人工智能是大数据业务发展的终极出口 。
只有 AI 化,大数据才能发挥真正的业务价值。阿里云大数据之所以有核心竞争力,就是因
为大数据是结合 AI 能力的大数据,是智能化升级的大数据。比如 Flink+Alink,Flink 不
仅能够提供流批一体的处理能力,还能借助已开源的 Alink 机器学习算法库,实现 Flink
的大数据+人工智能一体化。
拥抱“融合”是大数据演进的新方向
54
未来,社会经济将与互联网更加融合,企业机构的业务也将全面转变为互联网业务。一
个企业仅仅有IT基础设施并不够,企业应用也将实现从流程驱动变为数据智能驱动,阿
里云计算平台将输出全栈大数据技术能力,并提供全球顶尖的AI技术,一起实现数据化
和智能化。
Flink as a Unified Engine - Now and Next
Flink as a Unified Engine
- Now and Next
作者 王峰 莫问
Apache Flink 中文社区发起人,阿里云计算平台事业部实时计算与开放平台部门负责人
摘要:本文由 Apache Flink 中文社区发起人,阿里云计算平台事业部实时计算与开放平
台部门负责人王峰分享,主要介绍 Flink 作为一款统一的流批一体引擎其发展现状及未来
规划。大纲如下:
2020:Apache Flink 社区生态加速繁荣的一年
技术创新:Apache Flink 社区发展的核心驱动力
Flink 在阿里巴巴的现状和未来
一、2020:Apache Flink 社区生态加速繁荣的一年
1.Flink 蝉联 Apache 社区最活跃项目
1
2
3
76
我们先来介绍一下在2020年 Flink 社区生态发展的态势。整体来说,社区处在一个非常健
康和高速的发展过程中,尤其是在2020年,我们取得了非常好的成果。从 Apache 软件
基金会2020财年的报告中,可以看到一些很关键的数据:
综合这几个数据来看,可以认为 Flink 在 Apache 众多的开源项目中名列前茅,是 Apache 最
活跃的项目之一。我们在 Github 上 Star 的数量,以及 Flink 贡献者数量的增长趋势也是
非常喜人的。最近几年来,我们一直处在一个加速上涨的过程,每年都是平均30%以上的
数据增长,可以看出 Flink 整个生态的繁荣和高速发展。
我们再回顾一下2020年整个社区在技术上取得的成果。Flink 社区在2020年发布了三个大
的版本, Flink-1.10,Flink-1.11,以及12月最新发布的 Flink-1.12 三大版本。这三个版
本相对于去年收官的版本 Flink-1.9 有非常大的进步。
在 Flink-1.9 中,我们完成了将 Blink 代码贡献合并进入 Flink 社区,使得 Flink 流批一体
架构正式启动。今年我们又通过1.10、1.11、1.12这三个版本对 Flink 流批一体架构做了重
要的升级和落地。同时在 Flink SQL 的开发场景下,我们不仅支持了流批一体的 SQL,
同时也支持读取数据库 binlog 的 CDC,并且对接了新一代数据湖的架构。Flink 在 AI 场
景下的应用也越来越广泛,所以我们在 Python 语言上也提供了大量支持,PyFlink 已经
可以完整的支持 Flink 的开发。在 K8s 的生态上,我们也做了很多的工作。Flink 经过今
年三个版本的迭代以后,已经可以完整的以云原生的方式运行在 K8s 的生态之上,去除了
对 Hadoop 的依赖。以后在 K8s 生态之上也可以使 Flink 的部署与其他的在线业务进行
更好的混布。
Flink 用户和开发者邮件列表活跃度 Top1
Github 上 Flink 代码提交次数 Top2
Github 上 Flink 的用户访问量 Top2
2.Apache Flink 年度发布总结
在此也跟大家分享一下 Flink 中文社区的发展。
首先,从邮件列表来看,Flink 项目可能是 Apache 顶级项目中唯一一个开通中文用户邮
件列表的项目。Apache 作为一个国际化的软件基金会,基本上以英文交流的方式为主,
由于 Flink 在中国的活跃度空前,所以我们也开通了中文邮件列表。目前中文邮件列表的
活跃度甚至已经超过英文邮件列表,成为全球 Flink 最活跃的地区。
其次,社区也开通了 Flink 的中文社区公众号(上图左侧),每周推送社区资讯、活动信
息、最佳实践等内容为开发者提供了解社区进展的窗口,目前超过 3 万名活跃的开发者订
阅我们,全年推送超过 200 篇与 Flink 技术,生态以及实践相关的最新资讯。
前段时间,我们还推出了 Flink 社区官方中文学习网站(https://flink-learning.org.cn/)
希望帮助更多的开发者方便的学习 Flink 技术,了解 Flink 的行业实践,同时我们的 Flink 社
区的钉钉大群也为大家提供了技术交流的平台,欢迎大家加入,进行技术的交流。
3. Apache Flink 中文社区持续火热
剩余48页未读,继续阅读
叫我叔叔就行
- 粉丝: 23
- 资源: 323
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- OpenCV for Unity 2.6.0.unitypackage
- Unity 资源插件之僵尸模型资源包
- MT3414-VB一款N-Channel沟道SOT23的MOSFET晶体管参数介绍与应用说明
- test-check有关制动驾驶控制器压力监测,接收端
- 2023年中国电子学会青少年软件编程 (图形化) (一级知识题目)
- MT3413-VB一款P-Channel沟道SOT23的MOSFET晶体管参数介绍与应用说明
- 基于Hadoop的数据仓库引擎的设计与实现.docx
- Python教程 Python教程
- 基于Hadoop平台的多维度学生学业预警系统的研究.docx
- 基于Hadoop的网络行为大数据安全实体识别系统设计.docx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0