没有合适的资源？快使用搜索试试~ 我知道了~

文库首页安全技术网络安全Flink实战总结1

Flink实战总结1

flink

需积分: 0 1 下载量 173 浏览量 2022-08-03 21:15:47 上传评论收藏 1.55MB PDF 举报

温馨提示

试读

16页

Flink实战总结1

资源详情

资源评论

资源推荐

Flink学习

#学习

基础

相关概󶚃

flink程序能实现在分布式的结合上进󰢩各种转换操作，集合通常来󰙵订阅的来源（件，

kafka,local,in-memory），结果被返回到sinks󰮟（多数写入分布式件系统，或者标准输

出）

flink 的operator 会尽󰮢按照链式式分在同个task slot󰮟󰴯，以优化执󰢩

DataSet and DataStream

DataSet和DataStream在flink中都代表种数据结构，是不可变且包含重复记录的集合。

区别在于DataSet是有限的集合，󰖳DataStream是界的

flink 配置interlij ideal 在本地运󰢩调试

只需要将flink依赖的包引入项󰋴中即可启动项󰋴

讲解Flink怎么序化objects，怎么分配内存Apache Flink: Juggling with Bits and Bytes

DataStream

Apache Flink 1.7 Documentation: Flink DataStream API Programming Guide

datasource（数据源）:

File-based: readTextFile, readFile…

Socket-based: socketTextStream

Collection-based: fromCollection, fromElements

custom: addSource, FlinkKafkaConsumer08 or other connectors

DataSet

Apache Flink 1.7 Documentation: Flink DataSet API Programming Guide

不得不会的Flink Dataset的DeltaI 迭代操作

savepoint

Apache Flink 1.7 Documentation: Savepoints

Savepoints are created, owned, and deleted by the user.

󰋴前savepoint和checkpoint实现和format式都相同（除checkpoint选择rocksdb作为

state backend，这样format会有些微不同）

Operations：

Triggering Savepoints： FsStateBackend or RocksDBStateBackend:

Trigger a Savepoint

Cancel Job with Savepoint

bin/flink cancel -s [:targetDirectory] :jobId

Resuming from Savepoints

$ bin/flink run -s :savepointPath [:runArgs]

Disposing Savepoints

$ bin/flink savepoint -d :savepointPath

checkpoint

Apache Flink 1.7 Documentation: Checkpoints

󰈿命周期是由Flink管󰇹，checkpoint的管󰇹，创建以及释放统通过Flink，󰖳需要󰉁户

预

Checkpoints are usually dropped（随应󰉁退出被清除） after the job was terminated by

the user (except if explicitly configured as retained Checkpoints)

retained checkpoints 不会随着应󰉁清除，所以需要动清󰇹，与savepoint有点区

别，不持rescaling

resuming from checkpoints

bin/flink run -s :checkpointMetaDataPath [:runArgs]

checkpoint 优化 Apache Flink 1.7 Documentation: Tuning Checkpoints and Large State

state 双写：份在distributed storage(HDFS)；份在local

task-local recovery：默认是关闭的状态,可以通过 state.backend.local-recovery 打开

Barriers

Apache Flink 1.8-SNAPSHOT Documentation: Data Streaming Fault Tolerance

Window，waterMark，Trigger

Window，waterMark，Trigger介绍- 简书

window

󰴬常重要还未研究 Windows

滚动窗：分配器将每个元素分配到个指定窗的窗中，并且不会重叠；

TumblingEventTimeWindows.of(Time.seconds(5))

滑动窗：滑动窗分配器将元素分配到固定󰲊度的窗中，与滚动窗类似，窗的

由窗参数来配置，另个窗滑动参数控制滑动窗开始的频率；因此可能出现

窗重叠，如果滑动参数于滚动参数的话；

SlidingEventTimeWindows.of(Time.seconds(10), Time.seconds(5))

会话窗：通过session活动来对元素进󰢩分组，跟滚动窗和滑动窗相比，不会有重

叠和固定的开始时间和结束时间的情况。当他在个固定的时间周期内不再收到元素，即

非活动间隔产󰈿，那么窗就会关闭；

个session窗通过个session间隔来配置，这个session间隔定义非活跃周期的

󰲊度。当这个非活跃周期产󰈿，那么当前的session将关闭并且后续的元素将被分配

到新的session窗中去。如：

EventTimeSessionWindows.withGap(Time.minutes(10)

触发器(Triggers)

触发器定义个窗何时被窗函数处󰇹

EventTimeTrigger

ProcessingTimeTrigger

CountTrigger

PurgingTrigger

驱逐器(Evictors)

任务提交与停姿势

任务提交

启动命令详解 :Apache Flink 1.7 Documentation: YARN Setup

参数

Usage:

Required

-n,--container <arg> Number of YARN container to allocate (=Number of

Task Managers)

Optional

-D <arg> Dynamic properties

-d,--detached Start detached

-jm,--jobManagerMemory <arg> Memory for JobManager Container with

optional unit (default: MB)

-nm,--name Set a custom name for the application on

YARN

-q,--query Display available YARN resources (memory,

cores)

-qu,--queue <arg> Specify YARN queue.

-s,--slots <arg> Number of slots per TaskManager

-tm,--taskManagerMemory <arg> Memory per TaskManager Container with

optional unit (default: MB)

-z,--zookeeperNamespace <arg> Namespace to create the Zookeeper sub-

paths for HA mode

提交到yarn-cluster上需要以 y 或者yarn作为前缀；如: ynm=nm

flink run -c com.jacobs.jobs.realtime.wordcount.WindowWordCount target/real-

time-jobs-1.0.0-SNAPSHOT.jar

flink run -m yarn-cluster -ynm SinkToKafkaStream -yn 4 -yjm 1024m -ytm 4096m -

ys 4 -yqu feed.prod -c com.weibo.api.feed.dm.stream.TestFlinkStream /data1/dm-

flink/feed-dm-flink-1.0.4-SNAPSHOT.jar

flink run -m yarn-cluster -ynm SinkToKafkaStream -yn 2 -yjm 1024m -ytm 4096m -

ys 2 -yqu feed.prod -c com.weibo.api.feed.dm.stream.SinkToKafkaStream /data1/

dm-flink/feed-dm-flink-1.0.4-SNAPSHOT.jar

停任务

关闭或重启flink程序能直接kill掉，这样会导致flink来不及制作checkpoint，󰖳应该调

󰉁flink提供的cancel语意

//重启正确姿势, with savepoint

1. 调󰉁cancel，cancel之前先触发savepoint

bin/flink cancel -s [:targetDirectory] :jobId -yid: yarnAppId

: flink cancel -s hdfs://vcp-yz-nameservice1/user/hcp/hcpsys/feed/flink-

checkpoints/test-user-logs 97b4e67859af4bfb1b597355f1c846f3 -yid

application_1542801635735_2121

2. 从savepoint中恢复flink程序

剩余15页未读，继续阅读

内容反馈

基鑫阁

粉丝: 59
资源: 358

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

Flink实战总结1

评论0

最新资源

Flink实战总结1

评论0

Flink实战项目（保险行业真实项目）

Flink实战项目（电力行业真实项目）

flink道路监控系统实战项目

Flink原理、实战与性能优化.pdf

Flink实战脑图.xmind

Flink SQL大数据项目实战（基于Flink1.14.3版本）

Flink实战脑图.mmap.xmind

万字长文详解大数据流式计算框架 Flink 实战（中篇）1

实战Flink+Doris实时数仓

Flink1.8实时数仓项目实战

Flink安装及使用 - 简书.pdf

2020版Flink入门到实战.txt

Flink总结.docx

P7级Flink大数据精华实战 从Flink大规模集群部署到Flink性能优化 Flink超级实战课程

flink入门文档.pdf

Flink深入部署高级开发与案例实战-视频教程网盘链接提取码下载 .txt

flink零基础入门.pdf

Flink超神文档.pdf

BurpLoaderKeygen.jar.zip

最新版ISO/IEC 27001:2022、ISO 27002:2022中英文合集

Goby红队版-win-x64-2.4.7版本

Chrome Header Editor 插件

ISO SAE 21434-2021 中文版.pdf

OpenVAS GVM 中文翻译补丁

安全认证cisp教材全套

STM32F103C8T6核心板-电路原理图1.PDF

现代永磁同步电机控制原理及MATLAB仿真__袁雷编著1

goby红队&社区版-win-64-2.4.7

最新资源

P7级Flink大数据精华实战从Flink大规模集群部署到Flink性能优化 Flink超级实战课程