Flume部署和使用_Flume资源-CSDN文库

5星 · 超过95%的资源 75 浏览量 2021-01-07 08:23:24 上传评论收藏 88KB PDF 举报

资源推荐

资源详情

资源评论

Flume部署和使用部署和使用

官方文档: http://flume.apache.org/

example: WebServer –> Agent[Source–>Channel–>Sink] –> HDFS

一一.简介简介

Flume是一个分布式，可靠的的框架，它能从许多不同的数据源高效地收集、聚合和移动大量日志数据到一个集中的目的进行

存储。Flume OG主要是0.9及以前的版本，Flume NG主要是1.X的版本。类似的框架还有Logstash。对应广义的Hadoop而

言，Flume是比较常用的。Logstash更轻量级，主要配合ELK使用

我们使用Flume，真要需要开发的代码不多，从使用层面来讲就是写配置文件，掌握常见类型Source、Channel、Sink的配

置，配置我们的Agent。这部分主要对应的是Flume User Guide:

http://flume.apache.org/releases/content/1.9.0/FlumeDeveloperGuide.html。

需要自己写代码的部分,主要是如何基于Flume进行自定义开发，自定义Source、Sink、和Channel。

常用的Source类型如下(从哪里收集)

avro (序列化)

exec (命令行)

spooling (目录)

taildir (重要)

kafka

常见的Channel类型(数据存在哪里)

memory

kafka

file

常见Sink类型(数据输出到哪里)

hdfs (Hadoop)

logger (控制台)

avro

kafka

二二.安装安装

下载

[ruoze@rzdata001 ~]$ cd software/

[ruoze@rzdata001 software]$ wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.16.2.tar.gz

解压,创建软连接

[ruoze@rzdata001 software]$ tar -zxvf flume-ng-1.6.0-cdh5.16.2.tar.gz -C /home/app/

[ruoze@rzdata001 software]$ cd ~/app/

[ruoze@rzdata001 app]$ ln -s /home/ruoze/app/apache-flume-1.6.0-cdh5.16.2-bin /home/ruoze/app/flume

配置配置文件

[ruoze@rzdata001 ~]$ cd /home/ruoze/app/flume/conf

[ruoze@rzdata001 conf]$ cp flume-env.sh.template flume-env.sh

[ruoze@rzdata001 conf]$ cp flume-conf.properties.template flume-conf.properties

[ruoze@rzdata001 conf]$ vim flume-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_121

添加环境变量

[ruoze@rzdata001 ~]$ vim .bash_profile

# Flume env

export FLUME_HOME=/home/ruoze/app/flume

export PATH=$FLUME_HOME/bin:$PATH

flume版本

[ruoze@rzdata001 bin]$

[ruoze@rzdata001 bin]$ flume-ng version

Flume 1.6.0-cdh5.16.2

Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git

Revision: df92badde3691ee3eb6074a177f0e96682345381

Compiled by jenkins on Mon Jun 3 03:49:33 PDT 2019

From source with checksum 9336bfa3ff8cfb5e20cd9d700135a2c1

[ruoze@rzdata001 bin]$

三三.任务配置任务配置

Flume agent配置是一个配置在本地的配置文件，是一个遵循java配置文件格式的text文件。

在同一个配置文件中可以配置指定一个或多个agents，同时配置上每个source、sink和channel数据流串联的方式。

目标: 掌握根据官网文档进行配置的方法。

各个类型的source、channel和sink的配置说明中，粗体是必须设置的参数。

例例1: 1_netcat_memory_logger.conf

写配置文件：

# conf file name: 1_netcat_memory_logger.conf

# Source type : netcat source

# Channel type: memory channel

# Sink type : logger sink

# Name the components on this agent <== define agent

# a1 <== agent name

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# Describe/configure the source <== define Source

a1.sources.r1.type = netcat

a1.sources.r1.bind = 0.0.0.0

a1.sources.r1.port = 44444

# Use a channel which buffers events in memory <== define Channel

a1.channels.c1.type = memory

# Describe the sink <== define Sink

a1.sinks.k1.type = logger

# Bind the source and sink to the channel <== connect source,channel and sink

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

启动agent:

$FLUME_HOME/bin/flume-ng agent \

--name a1 \

--conf $FLUME_HOME/conf \

--conf-file $FLUME_HOME/myconf/1_netcat_memory_logger.conf \

-Dflume.root.logger=INFO,console

jps查看新增的服务：

[ruoze@rzdata001 ~]$ jps

7040 SecondaryNameNode

31123 Jps

20724 NameNode

21144 ResourceManager

7897 RunJar

30939 Application <== 新增agent的信息

20860 DataNode

21260 NodeManager

19215 StandaloneSessionClusterEntrypoint

[ruoze@rzdata001 ~]$

查看服务启动的详细信息：

[ruoze@rzdata001 ~]$ ps -ef | grep 30939 | grep -v grep

ruoze 30939 31334 0 20:49 pts/0 00:00:01 /usr/java/jdk1.8.0_121/bin/java -Xmx20m -Dflume.root.logger=INFO,console -cp

/home/ruoze/app/flume/conf:/home/ruoze/app/flume/lib/*:/home/ruoze/app/hadoop/etc/hadoop:/home/ruoze/app/hadoop-2.6.0-

cdh5.16.2/share/hadoop/common/lib/*:/home/ruoze/app/hadoop-2.6.0-cdh5.16.2/share/hadoop/common/*:/home/ruoze/app/hadoop-2.6.0-

cdh5.16.2/share/hadoop/hdfs:/home/ruoze/app/hadoop-2.6.0-cdh5.16.2/share/hadoop/hdfs/lib/*:/home/ruoze/app/hadoop-2.6.0-

cdh5.16.2/share/hadoop/hdfs/*:/home/ruoze/app/hadoop-2.6.0-cdh5.16.2/share/hadoop/yarn/lib/*:/home/ruoze/app/hadoop-2.6.0-

cdh5.16.2/share/hadoop/yarn/*:/home/ruoze/app/hadoop-2.6.0-cdh5.16.2/share/hadoop/mapreduce/lib/*:/home/ruoze/app/hadoop-2.6.0-

cdh5.16.2/share/hadoop/mapreduce/*:/home/ruoze/app/hadoop/contrib/capacity-scheduler/*.jar:/home/ruoze/app/hive/lib/* -

Djava.library.path=:/home/ruoze/app/hadoop-2.6.0-cdh5.16.2/lib/native org.apache.flume.node.Application --name a1 --conf-file

/home/ruoze/app/flume/myconf/1_netcat_memory_logger.conf

[ruoze@rzdata001 ~]$

agent启动后，向44444端口发送数据。注意，一定要先启动agent。

剩余6页未读，继续阅读

评论收藏

内容反馈

彥爷

2023-06-20

作者非常清晰地讲述了Flume的使用步骤，让人很容易就能上手。
咖啡碎冰冰

2023-06-20

这份文件提供的示例代码非常有助于理解和应用Flume。
蒋寻

2023-06-20

对于不熟悉Flume的用户来说，这份文件是一个很有用的参考。
袁大岛

2023-06-20

虽然这份文件没有太多花里胡哨的东西，但是它的实用性是非常高的。
断脚的鸟

2023-06-20

这个文件讲解Flume的部署和使用，对初学者来说非常友好。

前往

页

weixin_38625143

粉丝: 6
资源: 916

Flume部署和使用

flume组件部署.doc

Flume详解与安装部署教程

基于CDH安装部署的flume导入mysql数据到kafak的jar包

大数据Ambari之flume集成编译好的源码包

Flume的配置与使用

Flume的安装及使用

安装Flume和使用

Flume 安装搭建使用.

Flume安装和简单使用

Flume学习文档(2){Flume安装部署、Flume配置文件}.docx

Flume1.8安装部署

flume安装程序

Flume1.6.0入门：安装、部署、及flume的案例

Flume详细介绍使用

Flume的安装部署

Flume使用详解（一）

Flume使用详解（三）

Flume使用详解（二）

Flume环境部署和配置详解及案例大全1

Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS.docx

Flume1.5.0入门：安装、部署、及flume的案例

flume kafak实验报告.docx

Flume集群环境搭建，flume监控

Flume使用详解（四）

Flume简介&安装配置&使用案例.md

Flume入门使用.pdf

Flume简介及基本使用.md

最新资源