hadoop项目--网站流量日志分析--2.docx
需积分: 19 34 浏览量
2019-10-23
16:49:38
上传
评论 1
收藏 351KB DOCX 举报
程序员生活网-www.ryxx.com
一、 数据采集之 Flume 采集
在网站流量日志分析这种场景中，对数据采集部分的可靠性、容错能力要
求通常不会非常严苛，需要注意的是结合语境明白是何种含义的数据采集。
对于数据从无到有的过程，可以使用 服务器自带的日志记录功能和自
定义埋点 采集相结合的做法收集用户访问网站的行为数据。
对于数据需要做搬运的操作，可以使用 定制相关的采集方案满足数
据采集传输。
1． Flume 采集数据
1.1． Taildir Source 组件
Flume 采集系统的搭建相对简单：
1、在服务器上部署 agent 节点，修改配置文件
2、启动 agent 节点，将采集到的数据汇聚到指定的 HDFS 目录中
针 对 日 志 生 成 场 景 ， 如 果 通 过 （ ） 收 集 ， 无 论 是
和 均不能满足动态实时收集的需求，在 版本
之后，提供了一个非常好用的 ，使用这个 ，可以监控一个目录，并
且使用正则表达式匹配该目录中的文件名进行实时收集。
核心配置如下：
!"#"$
%
程序员生活网-www.ryxx.com
剩余10页未读，继续阅读
评论0
最新资源