没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
大数据实时处理系统技术方案
基于 构建大数据实时处理系统
1
目 录
一、 大数据处理的常用方法...................................................................................................... ........... ....3
二、 实时处理系统架构.................................................................................................................. ........... 4
三、 Flume+Kaa 整合....... .................................... .............................................................. ......................5
四、 Kaa+Storm 整合........................................................................................................ ...................... 13
五、 Storm+Redis 整合........ ........................ .............................................................................................. 23
六、 数据可视化处理........................................................................................................................... .... 37
七、 总结........................................................................................................................... ........................ 41
2
一、 大数据处理的常用方法
之前在《采集→清洗→处理:基于 的离线数据分析》中已经有提及到,这里依然
给出下面的图示:
前面给出的那篇文章是基于 的离线数据分析案例,其通过对网站产生的用户访问
日志进行处理并分析出该网站在某天的 、 等数据。
对应上面的图示,其走的就是离线处理的数据处理方式,而这里即将要介绍的是另外一条路线的
数据处理方式,即基于 的在线处理。在下面给出的完整案例中,我们将会完成下面的几
项工作:
如何一步步构建我们的实时处理系统()
实时处理网站的用户访问日志,并统计出该网站的 、
将实时分析出的 、 动态地展示在我们的前面页面上
3
如果你对上面提及的大数据组件已经有所认识,或者对如何构建大数据实时处理系统感兴趣,那
么就可以尽情阅读下面的内容了。
需要注意的是,核心在于如何构建实时处理系统,而这里给出的案例是实时统计某个网站的
、,在实际中,基于每个人的工作环境不同,业务不同,因此业务系统的复杂度也不尽相
同,相对来说,这里统计 、 的业务是比较简单的,但也足够让我们对大数据实时处理系统
有一个基本的、清晰的了解与认识,是的,它不再那么神秘了。
二、 实时处理系统架构
我们的实时处理系统整体架构如下:
即从上面的架构中我们可以看出,其由下面的几部分构成:
4
集群
集群
集群
从构建实时处理系统的角度出发,我们需要做的是让数据在各个不同的集群系统之间打通(从上
面的图示中也能很好地说明这一点),即需要做各个系统之前的整合,包括 与 的
整合, 与 的整合。当然,各个环境是否使用集群,依个人的实际需要而定,在我
们的环境中,、、 都使用集群。
三、 Flume+Kafka 整合
1 整合思路
对于 而言,关键在于如何采集数据,并且将其发送到 上,并且由于我们这里了使
用 集群的方式, 集群的配置也是十分关键的。而对于 ,关键就是如何接收
5
剩余41页未读,继续阅读
资源评论
桃李醉春风SVIP
- 粉丝: 125
- 资源: 5
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 基于python开发的口红色号识别程序+源码+开发文档+源码解析(毕业设计&课程设计&项目开发)
- TP-LINK TL-WN725N V3 Linux 驱动
- 020ssm-jsp-mysql班级同学录网站.zip(可运行源码+数据库文件+文档)
- 什么是stm32f103rct6,有哪些优缺点?
- 李明哲尚能2.zip
- 019ssm-jsp-mysql奥迪维修保养服务管理系统.zip(可运行源码+数据库文件+)
- AB测试数据-增设中小店铺广告位
- YOLOv8红外场景的车辆-行人-斑马线-交通灯检测+数据集+pyqt界面
- 基于JSP毕业设计-OA办公自动化系统-毕业设计.zip
- 基于JSP毕业设计-MVC设计模式应用之游戏卡在线销售系统(论文).zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功