Flink学习1

Flink学习

#学习

基础

相关概󶚃

flink程序能实现在分布式的结合上进󰢩各种转换操作，集合通常来󰙵订阅的来源（件，

kafka,local,in-memory），结果被返回到sinks󰮟（多数写入分布式件系统，或者标准输

出）

flink 的operator 会尽󰮢按照链式式分在同个task slot󰮟󰴯，以优化执󰢩

DataSet and DataStream

Apache Flink 1.7 Documentation: Flink DataStream API Programming Guide

datasource（数据源）:

File-based: readTextFile, readFile…

Socket-based: socketTextStream

Collection-based: fromCollection, fromElements

custom: addSource, FlinkKafkaConsumer08 or other connectors

DataSet

Apache Flink 1.7 Documentation: Flink DataSet API Programming Guide

不得不会的Flink Dataset的DeltaI 迭代操作

savepoint

Trigger a Savepoint

Cancel Job with Savepoint

bin/flink cancel -s [:targetDirectory] :jobId

Resuming from Savepoints

$ bin/flink run -s :savepointPath [:runArgs]

Disposing Savepoints

$ bin/flink savepoint -d :savepointPath

checkpoint

Apache Flink 1.7 Documentation: Checkpoints

󰈿命周期是由Flink管󰇹，checkpoint的管󰇹，创建以及释放统通过Flink，󰖳需要󰉁户

bin/flink run -s :checkpointMetaDataPath [:runArgs]

checkpoint 优化 Apache Flink 1.7 Documentation: Tuning Checkpoints and Large State

state 双写：份在distributed storage(HDFS)；份在local

task-local recovery：默认是关闭的状态,可以通过 state.backend.local-recovery 打开

Barriers

Apache Flink 1.8-SNAPSHOT Documentation: Data Streaming Fault Tolerance

非常重要还未研究 Windows

滚动窗：分配器将每个元素分配到个指定窗的窗中，并且不会重叠；

TumblingEventTimeWindows.of(Time.seconds(5))

滑动窗：滑动窗分配器将元素分配到固定󰲊度的窗中，与滚动窗类似，窗的

由窗参数来配置，另个窗滑动参数控制滑动窗开始的频率；因此可能出现

窗重叠，如果滑动参数于滚动参数的话；

SlidingEventTimeWindows.of(Time.seconds(10), Time.seconds(5))

会话窗：通过session活动来对元素进󰢩分组，跟滚动窗和滑动窗相比，不会有重

叠和固定的开始时间和结束时间的情况。当他在个固定的时间周期内不再收到元素，即

非活动间隔产󰈿，那么窗就会关闭；

个session窗通过个session间隔来配置，这个session间隔定义非活跃周期的

触发器(Triggers)

触发器定义个窗何时被窗函数处󰇹

EventTimeTrigger

启动命令详解 :Apache Flink 1.7 Documentation: YARN Setup

参数

Usage:

Required

-n,--container <arg> Number of YARN container to allocate (=Number of

Task Managers)

Optional

-D <arg> Dynamic properties

-d,--detached Start detached