没有合适的资源？快使用搜索试试~ 我知道了~

文库首页大数据flink大数据集群规划和配置文档

大数据集群规划和配置文档

1 下载量 21 浏览量 2023-08-14 15:56:12 上传评论收藏 5.26MB DOCX 举报

温馨提示

试读

62页

大数据集群规划和配置文档

资源推荐

资源详情

资源评论

大数据平台集群整体规划

1. 系统架构

2. 物理环境架构

2.1. 安装部署图

2.2. 硬件资源需求

服务器硬件信息（使用高配服务器虚拟化 4 台节点组件大数据集群）

类型

物理机数量

CPU

内存

系统盘

数据盘

服务器

64 核

128G

32T

2.3. PAAS 层需求

2.3.1. Linux 操作系统要求

linux 系统

版本

Centos

7.1 及以上

2.3.2. 组件要求

环境描述

软件

版本

详情

Node1

Node2

Node3

Node4

JDK

1.8.0

jdk-8u371-linux-x64.t

ar.gz

Base 环境

gcc

4.8.5

yum install -y gcc

软件安装后需增加的依赖的包如下：

k8s

1.27.4

yum install -y kubectl

kubeadm kubelet

MySQL

5.7.41

common

libs

client

server

计算

Node

Dinky

0.7.3

dlink-release-0.7.3.tar

.gz

Doris-F

1.2.4

apache-doris-fe-1.2.4.

1-bin-x86_64.tar.xz

Doris 环

境

Doris-B

1.2.4

apache-doris-be-1.2.4.

1-bin-x86_64.tar.xz

3.1.7

apache-dolphinschedu

ler-3.1.7-bin.tar.gz

Flink

1.14.6

flink-1.14.6-bin-scala

_2.12.tgz

软件

版本

详情

依赖包

Flink

1.14.6

flink-1.14.6-bin-scala

_2.12.tgz

Lib

dlink-client-1.14-0.7.3.jar

druid-1.2.8.jar

flink-sql-connector-sqlserver-cdc-2.3.0.jar

dlink-client-base-0.7.3.jar

flink-connector-jdbc_2.12-1.14.6.jar

flink-table_2.12-1.14.6.jar

dlink-common-0.7.3.jar

flink-dist_2.12-1.14.6.jar

HikariCP-4.0.3.jar

dlink-metadata-base-0.7.3.jar

flink-doris-connector-1.14_2.12-1.1.1.jar

jackson-datatype-jsr310-2.13.4.jar

dlink-metadata-doris-0.7.3.jar

flink-faker-0.5.3.jar

mysql-connector-java-8.0.28.jar

dlink-metadata-mysql-0.7.3.jar

flink-shaded-guava-30.1.1-jre-16.0.jar

dlink-metadata-sqlserver-0.7.3.jar

flink-sql-connector-mysql-cdc-2.3.0.jar

flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-

2.4. 环境准备(所有节点)

（1）修改 IP

（2）修改主机名及主机名和 IP 地址的映射

vim /etc/hosts

192.168.1.245 bigData05

192.168.1.246 bigData06

192.168.1.247 bigData07

192.168.1.248 bigData08

例如在 192.168.1.245 上：

vim /etc/hostname

bigData05

173-9.0.jar

Dinky

0.7.3

dlink-release-0.7.3.tar

.gz

Plugins

flink-shaded-guava-30.1.1-jre-16.0.jar

flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-

173-9.0.jar

flink-shaded-zookeeper-3.4.14.jar

flink-sql-connector-kafka_2.12-1.14.6.jar

flink-sql-connector-mysql-cdc-2.3.0.jar

flink-sql-connector-sqlserver-cdc-2.3.0.jar

flink-table_2.12-1.14.6.jar

flink-connector-jdbc_2.12-1.14.6.jar

log4j-1.2-api-2.17.1.jar

flink-csv-1.14.6.jar

log4j-api-2.17.1.jar

flink-dist_2.12-1.14.6.jar

log4j-core-2.17.1.jar

flink-doris-connector-1.14_2.12-1.1.1.jar

log4j-slf4j-impl-2.17.1.jar

flink-faker-0.5.3.jar

mssql-jdbc-9.4.1.jre8.jar

flink-json-1.14.6.jar

mysql-connector-java-8.0.28.jar

Doris

-BE

1.2.4

apache-doris-be-1.2.4

.1-bin-x86_64.tar.xz

lib

java-udf-jar-with-dependencies.jar

（3）关闭防火墙

systemctl status firewalld.service

systemctl stop firewalld.service

systemctl status firewalld.service

systemctl disable firewalld.service

(4) ssh 免密登录

ssh-keygen

生成的密钥在 /root/.ssh 路径下，可进入查看

将 bigData05 生成的公钥 id_rsa.pub 拷贝到其他三台节点

ssh-copy-id -i id_rsa.pub root@bigData06

ssh-copy-id -i id_rsa.pub root@bigData07

ssh-copy-id -i id_rsa.pub root@bigData08

验证：ssh root@bigData07

配置本机免密

cd /root/.ssh/

cat id_rsa.pub >> authorized_keys

剩余61页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

潇锐killer

粉丝: 528
资源: 8

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

大数据集群规划和配置文档

大数据项目组人员配置.pptx

大数据集群基础环境搭建指导文档

大数据高可用集群.docx

大数据集群环境部署

hadoop 大数据集群配置文件

[详细完整版]大数据运维.docx

Flink大数据集群资源监控项目实战课程（基于flink1.13版本）

大数据集群搭建.pdf

大数据集群卸载CM，卸载CDH，清除CDH 文件

HDP2.5.0大数据HA集群在centos7.0下的安装配置

大数据集群安装

整套大数据搭建配置文件

关于大数据Hadoop的服务器配置文档

伪分布式基于hadoop3.1.3生态环境大数据集群

大数据Hadoop

大数据克隆虚拟机配置hadoop.doc

大数据【经典文档】：CDH集群部署安装运维手册【61页】.docx

CDH大数据集群搭建(2019-12-20).docx

《剑指大数据——Flink学习精要（Java版）》（最终修订版）.pdf

Flink 欺诈识别项目代码

实战Flink+Doris实时数仓

2023大数据面试题，很全

基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库（2022新课，基于flink1.14）

数据湖技术Iceberg的探索与实践.pdf

Flink 流数据批量写入数据库

Flink在字节跳动的实践.pdf

实验8 Flink初级编程实践

flink-connector-clickhouse-1.12.0.jar

flink源码分析.pdf

最新资源