Flink安装配置(2)1

Flink（二）CentOS7.5 搭建 Flink1.6.1 分布式集群

一. Flink 的下载

安装包下载地址：http://flink.apache.org/downloads.html ，选择对应 Hadoop 的 Flink 版本

下载

[admin@bigdata11 software]$ wget

http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-

1.6.1-bin-hadoop27-scala_2.11.tgz

[admin@bigdata11 software]$ ll

-rw-rw-r-- 1 admin admin 301867081 Sep 15 15:47 flink-1.6.1-bin-

示。

三. Standalone 模式

快速入门教程地址：https://ci.apache.org/projects/flink/flink-docs-release-

1.6/quickstart/setup_quickstart.html

1. 软件要求

� Java 1.8.x 或更高版本，

� ssh（必须运行 sshd 才能使用管理远程组件的 Flink 脚本）

集群部署规划

[admin@bigdata11 software]$ cd /opt/module/

[admin@bigdata11 module]$ ll

drwxr-xr-x 8 admin admin 125 Sep 15 04:47 flink-1.6.1

3. 修改配置文件

[admin@bigdata11 conf]$ ls

flink-conf.yaml log4j-console.properties log4j-yarn-

session.properties logback.xml masters sql-client-

defaults.yaml

log4j-cli.properties log4j.properties logback-console.xml

logback-yarn.xml slaves zoo.cfg

[admin@bigdata11 conf]$ sudo vi flink-conf.yaml

taskmanager.numberOfTaskSlots：2

jobmanager.rpc.address: bigdata11

可选配置：

� 每个 JobManager（jobmanager.heap.mb）的可用内存量，

� 每个 TaskManager（taskmanager.heap.mb）的可用内存量，

� 每台机器的可用 CPU 数量（taskmanager.numberOfTaskSlots），

� 集群中的 CPU 总数（parallelism.default）和

� 临时目录（taskmanager.tmp.dirs）

4. 拷贝安装包到各节点

export PATH=$PATH:$FLINK_HOME/bin

[admin@bigdata11 flink-1.6.1]$ source /etc/profile

6. 启动 flink

[admin@bigdata11 flink-1.6.1]$ ./bin/start-cluster.sh

Starting cluster.

Starting standalonesession daemon on host bigdata11.

Starting taskexecutor daemon on host bigdata12.

Starting taskexecutor daemon on host bigdata13.

jps 查看进程

7. WebUI 查看

Standby 状态。当工作中的 JobManager 失去连接后（如宕机或 Crash），Zookeeper 会从

Standby 中选举新的 JobManager 来接管 Flink 集群。

对于 Yarn Cluaster 模式来说，Flink 就要依靠 Yarn 本身来对 JobManager 做 HA 了。其实这

里完全是 Yarn 的机制。对于 Yarn Cluster 模式来说，JobManager 和 TaskManager 都是被

Yarn 启动在 Yarn 的 Container 中。此时的 JobManager，其实应该称之为 Flink Application

Master。也就说它的故障恢复，就完全依靠着 Yarn 中的 ResourceManager（和 MapReduce

的 AppMaster 一样）。由于完全依赖了 Yarn，因此不同版本的 Yarn 可能会有细微的差异。这

里不再做深究。

1） 修改配置文件

修改 flink-conf.yaml，HA 模式下，jobmanager 不需要指定，在 master file 中配置，由

须）

high-availability.storageDir:hdfs:///flink/ha/

#JobManager 元数据保存在文件系统 storageDir 中，只有指向此状态的指针存

储在 ZooKeeper 中（必须）