没有合适的资源?快使用搜索试试~ 我知道了~
Flume+Kafka+Storm+Hbase实现日志抓取和实施网站流量统计
需积分: 33 17 下载量 27 浏览量
2020-07-02
18:54:24
上传
评论 2
收藏 3.41MB DOCX 举报
温馨提示
搭建Hadoop集群,并使用flume+kafka+storm+hbase实现日志抓取分析,使用一个主节点master、两个slave节点
资源推荐
资源详情
资源评论
注意:配置文件的所有主机名都应设置为 ,,,不应
设为 ,方便扩展。关闭所有节点防火墙,或者开放相应端口。
注意:配置过程出错,一定要学会查看日志,不要看到一个 就去百度。
配置时间同步服务器:
教程:
博客上半部分为时间同步服务器配置,或者手动同步时间:
效果图:
搭建 :
搭建 :(用于离线数据分析 !"#$)
:(%%&'(()()
在配置 单机模式上传文件到 * 时,上面博客写的是 ) 端口,结
果报错,显示 ) 连不上,原因:在配置 ! 时把 的默认端口改成
了 。 ( 配 了 一 周 , 才 发 现 这 个 问 题 , 看 日 志 , 一 定 要 学 会 看 日 志 ,
+,-)-)&()-)
)
:(配置集群模式时,双机热备,每个节点都要有 .*&
文件,即每个节点都是一个单机就可上传模式,
)
:,, 数据分别流入到 和 ,#/0
本身提供了 # 机制,可以自动切换和恢复。
启动:
. ..* * ..*.1
. ..* .*& .. .
" 23/#456. .. .
*677(三台节点输入)
. ..* * ..*.1
. ..* .& .. .
" 23/#456. .. .
677( 和 都输入)
. ..* * ..*.1
. ..* .& .. .
" 23/#456. .. .
677(三台节点都输入)
双机热备效果图:
非自带 89 搭建(方便扩展):
教程:'))''
注 意 文 件 的 值 一 定 要 和 + 中 的 + 相 同 。 注 意 : 这 个 是
%9 的主机标示,每个主机 不同第二台是 第三台是 。当然 的值可
以自己拟定。但一定要一一对应。
不明白见此博客:+('(
启动 %9:%9$(三个节点输入)
:; 搭建:
教程:
,9&''(<
,2+%
注意:先启动 %9,再启动 9; 进程。
如果出现如下错误:
=>>4> 9;3>&#=+&
>&*9
表明有的 9; 节点未能成功启动。
:; 的副本因子详解
&)((
启 动 9; : 9;.. .
9;,.1&
在 上 创 建 一 个 主 题 : 9;. .. ..%9
'))))..&.*..&&..
在 上 创 建 一 个 发 布 者 : 9;.. ..9.
')))..
在 上 创 建 一 个 订 阅 者 : 9;.. ..%9
'))))....*.
效果图:
剩余52页未读,继续阅读
资源评论
中国-杨建业
- 粉丝: 170
- 资源: 15
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- MATLAB代码:基于分布式ADMM算法的考虑碳排放交易的电力系统优化调度研究 关键词:分布式调度 ADMM算法 交替方向乘子法 碳排放 最优潮流 仿真平台:MATLAB+CPLEX GUROBI
- 基于二阶自抗扰ADRC的轨迹跟踪控制,对车辆的不确定性和外界干扰具有一定抗干扰性,基于carsim和simulink仿真 跟踪轨迹为双移线,效果良好,有对应复现资料,是学习自抗扰技术快速入门很好的资料
- 程序名称:转向设计计算程序 开发平台:基于matlab平台 计算内容:阿克曼转角,转弯半径,转向阻力矩,回正力矩,转向主参数,转向传动比,力矩波动,转向梯形,EPS匹配,HPS匹配,齿轮齿条传动比,循
- 基于python的网页自动化工具项目全套技术资料100%好用.zip
- MATLAB【逆变器二次调频模型】 微电网分布式电源逆变器DROOP控制二次调频模型,加入二次控制实现二次调频控制,及二次调压控制,程序可实现上图功能,工况有所改变 需要matlab2021A版
- 抢购软件:快速复制信息
- 纯电动汽车再生制动策略,Cruise和Simulink联合仿真,提供Cruise整车模型和simuink策略模型,有详细解析文档,可运行
- 单机无穷大系统发生各类(三相短路,单相接地,两相接地,两相相间短路)等短路故障,各类(单相断线,两相断线,三相断线)等断线故障,暂态稳定仿真分析
- 微信文章爬虫项目全套技术资料100%好用.zip
- 基于动态窗口算法的AGV仿真避障 可设置起点目标点,设置地图,设置移动障碍物起始点目标点,未知静态障碍物 动态窗口方法(DynamicWindowApproach) 是一种可以实现实时避障的局部规划算
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功