尚硅谷大数据技术之Flume1

preview
试读
45页
需积分: 0 2 下载量 149 浏览量 更新于2022-08-04 收藏 4.44MB PDF 举报
<|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|><|start_header_id|>
尚硅谷大数据技术之 Flume
—————————————————————————————
更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网
尚硅谷大数据技术之
Flume
(
作者：尚硅谷大数据研发部
)
版本：V2.0
第
1
章 概述
1.1 Flume 定义
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传
输的系统。Flume 基于流式架构，灵活简单。
1.2 Flume 组成架构
Flume 组成架构如图 1-1，图 1-2 所示：
图 1-1 Flume 组成架构
尚硅谷大数据技术之 Flume
—————————————————————————————
更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网
图 1-2 Flume 组成架构详解
下面我们来详细介绍一下 Flume 架构中的组件。
1.2.1 Agent
Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的，是 Flume 数据传输
的基本单元。
Agent 主要有 3 个部分组成，Source、Channel、Sink。
1.2.2 Source
Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格
式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、
syslog、http、legacy。
1.2.3 Channel
Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运作
在不同的速率上。Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个 Sink
的读取操作。
Flume 自带两种 Channel：Memory Channel 和 File Channel。
Memory Channel 是内存中的队列。Memory Channel 在不需要关心数据丢失的情景下适
用。如果需要关心数据丢失，那么 Memory Channel 就不应该使用，因为程序死亡、机器宕
机或者重启都会导致数据丢失。
File Channel 将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。
尚硅谷大数据技术之 Flume
—————————————————————————————
更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网
1.2.4 Sink
Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或
索引系统、或者被发送到另一个 Flume Agent。
Sink 是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一
个事务。批量事件一旦成功写出到存储系统或下一个 Flume Agent，Sink 就利用 Channel 提
交事务。事务一旦被提交，该 Channel 从自己的内部缓冲区删除事件。
Sink 组件目的地包括 hdfs、logger、avro、thrift、ipc、file、null、HBase、solr、自定义。
1.2.5 Event
传输单元，Flume 数据传输的基本单元，以事件的形式将数据从源头送至目的地。
1.3 Flume
拓扑结构
Flume 的拓扑结构如图 1-3、1-4、1-5 和 1-6 所示：
图 1-3 Flume Agent 连接
图 1-4 单 source，多 channel、sink
尚硅谷大数据技术之 Flume
—————————————————————————————
更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网
图 1-5 Flume 负载均衡
图 1-6 Flume Agent 聚合
尚硅谷大数据技术之 Flume
—————————————————————————————
更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网
1.4 Flume Agent
内部原理
第
2
章 快速入门
2.1 Flume 安装地址
1） Flume 官网地址
http://flume.apache.org/
2）文档查看地址
http://flume.apache.org/FlumeUserGuide.html
3）下载地址
http://archive.apache.org/dist/flume/
2.2 安装部署
1）将 apache-flume-1.7.0-bin.tar.gz 上传到 linux 的/opt/software 目录下
2）解压 apache-flume-1.7.0-bin.tar.gz 到/opt/module/目录下
[atguigu@hadoop102 software]$ tar -zxf
apache-flume-1.7.0-bin.tar.gz -C /opt/module/
3）修改 apache-flume-1.7.0-bin 的名称为 flume
[atguigu@hadoop102 module]$ mv apache-flume-1.7.0-bin flume
4） 将 flume/conf 下 的 flume-env.sh.template 文 件 修 改 为 flume-env.sh ， 并 配 置
flume-env.sh 文件
[atguigu@hadoop102 conf]$ mv flume-env.sh.template flume-env.sh
[atguigu@hadoop102 conf]$ vi flume-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

剩余44页未读，继续阅读

资源推荐
资源评论
本本纲目
  • 粉丝: 31
  • 资源: 293
上传资源 快速赚钱
voice
center-task 前往需求广场，查看用户热搜

最新资源