Flume集群搭建1
需积分: 0 83 浏览量
2022-08-08
22:52:42
上传
评论 1
收藏 780KB DOCX 举报
Flume 集群搭建（2 台机器：hadoop12、Hadoop13）
集群的意思是多台机器，最少有 2 台机器，一台机器从数据源中获取数据，将数据传送
到另一台机器上，然后输出。接下来就要实现 Flume 集群搭建。集群如下图所示。
hadoop12 下载 flume 安装包
wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz
解压 flume 安装包
tar -zxvf /usr/app/flume1.6/apache-flume-1.7.0-bin.tar.gz
部署 Flume
部署的是集群，需要在 2 台机安装 Flume，hadoop12 作为 push 推送数据，hadoop13 作为
pull 获取数据后显示出来
修改配置文件
cd /usr/app/flume1.6/apache-flume-1.7.0-bin/conf/
cp flume-env.sh.template flume-env.sh
cp flume-conf.properties.template flume-telent.conf
vim flume-env.sh
export JAVA_HOME=/usr/app/jdk1.8.0_77
hadoop13 主机部署 Flume
scp -r /usr/app/flume1.6 hadoop13: /usr/app/flume1.6
验证 flume
cd /usr/app/flume1.6/apache-flume-1.7.0-bin/bin
./flume-ng version
Flume 1.7.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 511d868555dd4d16e6ce4fedc72c2d1454546707
Compiled by bessbd on Wed Oct 12 20:51:10 CEST 2016
From source with checksum 0d21b3ffdc55a07e1d08875872c00523
资源评论
