大数据面试问题
需积分: 10 190 浏览量
2018-09-20
13:52:17
上传
评论
收藏 2.63MB DOCX 举报
一、Flume 怎么保证高可靠？
Flume 使用事务的办法来保证 event 的可靠传递。Source 和 Sink 分别被封装在事务中，这些
事务由保存 event 的存储提供或者由 Channel 提供。这就保证了 event 在数据流的点对点传
输中是可靠的。在多级数据流中，如下图，上一级的 Sink 和下一级的 Source 都被包含在事
务中，保证数据可靠地从一个 Channel 到另一个 Channel 转移
其次，数据流中 Channel 的持久性。Flume 中 MemoryChannel 是可能丢失数据的（当 Agent
死掉时），而 FileChannel 是持久性的，提供类似 mysql 的日志机制，保证数据不丢失。
当一个正常的 Flow 运行时，每个 Agent 中的 Channel 中的 Events 数量是均衡（消费速度大
于生产速度的情况），而一旦 Agent 直接出现故障，那么 Channel 就会暂时持有 Events，直
到故障恢复（MemoryChannel 可能会丢失 Events）。
高可用：
剩余14页未读，继续阅读
资源评论
