Flume.docx
需积分: 0 54 浏览量
2020-01-05
23:51:05
上传
评论
收藏 9.67MB DOCX 举报
Flume
第 1 章 概述
1.1 Flume 定义
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和
传输的系统。Flume 基于流式架构，灵活简单。
1.2 Flume 的优点
1. 可以和任意存储进程集成。
2. 输入的的数据速率大于写入目的存储的速率，flume 会进行缓冲，减小 hdfs 的压力。
3. flume 中的事务基于 channel，使用了两个事务模型（sender + receiver），确保消息被
可靠发送。
Flume 使用两个独立的事务分别负责从 soucrce 到 channel，以及从 channel 到 sink 的事
件传递。一旦事务中所有的数据全部成功提交到 channel，那么 source 才认为该数据读取完
成。同理，只有成功被 sink 写出去的数据，才会从 channel 中移除。
1.3 Flume 组成架构
Flume 组成架构如图 1-1，图 1-2 所示：
剩余25页未读，继续阅读
评论0
最新资源