没有合适的资源?快使用搜索试试~ 我知道了~
Flume+Kafka+Storm+Hbase实现日志抓取和实施网站流量统计
需积分: 33 17 下载量 135 浏览量
2020-07-02
18:54:24
上传
评论 2
收藏 3.41MB DOCX 举报
温馨提示
搭建Hadoop集群,并使用flume+kafka+storm+hbase实现日志抓取分析,使用一个主节点master、两个slave节点
资源推荐
资源详情
资源评论
注意:配置文件的所有主机名都应设置为 ,,,不应
设为 ,方便扩展。关闭所有节点防火墙,或者开放相应端口。
注意:配置过程出错,一定要学会查看日志,不要看到一个 就去百度。
配置时间同步服务器:
教程:
博客上半部分为时间同步服务器配置,或者手动同步时间:
效果图:
搭建 :
搭建 :(用于离线数据分析 !"#$)
:(%%&'(()()
在配置 单机模式上传文件到 * 时,上面博客写的是 ) 端口,结
果报错,显示 ) 连不上,原因:在配置 ! 时把 的默认端口改成
了 。 ( 配 了 一 周 , 才 发 现 这 个 问 题 , 看 日 志 , 一 定 要 学 会 看 日 志 ,
+,-)-)&()-)
)
:(配置集群模式时,双机热备,每个节点都要有 .*&
文件,即每个节点都是一个单机就可上传模式,
)
:,, 数据分别流入到 和 ,#/0
本身提供了 # 机制,可以自动切换和恢复。
启动:
. ..* * ..*.1
. ..* .*& .. .
" 23/#456. .. .
*677(三台节点输入)
. ..* * ..*.1
. ..* .& .. .
" 23/#456. .. .
677( 和 都输入)
. ..* * ..*.1
. ..* .& .. .
" 23/#456. .. .
677(三台节点都输入)
双机热备效果图:
非自带 89 搭建(方便扩展):
教程:'))''
注 意 文 件 的 值 一 定 要 和 + 中 的 + 相 同 。 注 意 : 这 个 是
%9 的主机标示,每个主机 不同第二台是 第三台是 。当然 的值可
以自己拟定。但一定要一一对应。
不明白见此博客:+('(
启动 %9:%9$(三个节点输入)
:; 搭建:
教程:
,9&''(<
,2+%
注意:先启动 %9,再启动 9; 进程。
如果出现如下错误:
=>>4> 9;3>&#=+&
>&*9
表明有的 9; 节点未能成功启动。
:; 的副本因子详解
&)((
启 动 9; : 9;.. .
9;,.1&
在 上 创 建 一 个 主 题 : 9;. .. ..%9
'))))..&.*..&&..
在 上 创 建 一 个 发 布 者 : 9;.. ..9.
')))..
在 上 创 建 一 个 订 阅 者 : 9;.. ..%9
'))))....*.
效果图:
剩余52页未读,继续阅读
资源评论
中国-杨建业
- 粉丝: 168
- 资源: 15
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功