Flume包含三部分
Source:从哪收集,一般使用：avro(序列化),exec(命令行),spooling(目录)，taildir(目录和文件，包含offset,不会数据丢失),kafka
Channel:数据存哪里:(memory,kafka,file)
Sink:数据输出到哪里:(hdfs,logger,avro,kafka)
Flume环境配置
配置jdk
cd $FLUME_HOME/conf
cp flume-env.sh.template flume-env.sh
vi flume-env.sh
export JAVA_HOME=/usr/java/jdk
方法使用
net
- 1
- 2
前往页