1.1 大数据基础知识
1.1.1 大数据应用流程
数据源 数据采集 数据建模 数据加工
1.1.2 大数据数据采集：
flume（日志收集系统） Kafka(分布式发布订阅消息系统)
1.1.3 Flume 介绍：
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的
系统，Flume 支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume 提供对
数据进行简单处理，并写到各种数据接受方（比如文本、HDFS、Hbase 等）的能力。
1.1.3.1 Flume 核心概念：
Event： 一个数据单元，消息头和消息体组成。（Events 可以是日志记录、 avro 对象等。）
Flow： Event 从源点到达目的点的迁移的抽象。
Agent： 一个独立的 Flume 进程，包含组件 Source、 Channel、 Sink。（Agent 使用 JVM 运
行 Flume。每台机器运行一个 agent，但是可以在一个 agent 中包含多个 sources 和 sinks。）
Source： 数据收集组件。（source 从 Client 收集数据，传递给 Channel）
Channel： 中转 Event 的一个临时存储，保存由 Source 组件传递过来的 Event。（Channel
连接 sources 和 sinks ，这个有点像一个队列。）
Sink： 从 Channel 中读取并移除 Event， 将 Event 传递到 FlowPipeline 中的下一个 Agent
（如果有的话）（Sink 从 Channel 收集数据，运行在一个独立线程。）
评论0
最新资源