下载 >  大数据 >  Hadoop > 基于Hadoop的日志文件实时采集与可视化

基于Hadoop的日志文件实时采集与可视化 评分:

随着互联网、云计算和大数据技术的发展,政府、金融、气象、工业等行业会产生各种的日志文件,伴随着业务系统规模迅速增加,日志文件的规模随之急剧增加。一直以来日志分析都是反映应用系统的运行状况和用户行为的重要途径,尤其是目前互联网技术的发展,针对日志的分析处理增加了很多创新方向,比如个性化推荐,用户行为分析等等。不同的运行系统间数据独立存储,不能实现关联分析,急需对日志文件进行统一的组织管理,以备后期进行数据挖掘和关联分析,实现这些日志、数据的价值。此外在现有很多平台中,基本数据都是放在HDFS上,对一些非专业的人员来说很难实现对数据等内容的直观查看并进行分析,对于开发人员来说要不断通过命令来查看HDFS上的内容也不是很方便,因此急需开发一个平台来实现HDFS上文件 的直观查看。 本文的主要工作内容是,研究平台间的通信传输,实现在集群多机环境下对多服务器海量日志似流处理的增量实时采集,为实现对总体日志研究提供可能;研究Hadoop.2.x的集群环境构建和数据处理模式,实现在集群中把海量的小、碎的日志文件进行实时处理成集群所需的文件,并把这些处理得到的大数据量的文件实时的上传到hadoop的HDFS分布式文件系统上,为后期对数据进行结构化处理、数据挖掘、关联分析做准备;研究Hadoop.2.x的HDFS分布式文件系统,简化用户查看HDFS分布式文件系统上的文件或者文件内容和操作HDFS分布式文件系统的方式,构建一套HDFS文件系统的可视化操作系统,实现即使不会命令操作的人也能查看并简易操作HDFS分布式文件系统上的文件结构或文件内容。
...展开详情收缩
2018-11-30 上传大小:2.63MB
立即下载 开通VIP
想读
分享
收藏 举报

热点文章

img

spring mvc+mybatis+mysql+maven+bootstrap 整合实现增删查改简单实例.zip

资源所需积分/C币 当前拥有积分 当前拥有C币
5 0 0
点击完成任务获取下载码
输入下载码
为了良好体验,不建议使用迅雷下载
img

基于Hadoop的日志文件实时采集与可视化

会员到期时间: 剩余下载个数: 剩余C币: 剩余积分:0
为了良好体验,不建议使用迅雷下载
VIP下载
您今日下载次数已达上限(为了良好下载体验及使用,每位用户24小时之内最多可下载20个资源)

积分不足!

资源所需积分/C币 当前拥有积分
您可以选择
开通VIP
4000万
程序员的必选
600万
绿色安全资源
现在开通
立省522元
或者
购买C币兑换积分 C币抽奖
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
为了良好体验,不建议使用迅雷下载
确认下载
img

资源所需积分/C币 当前拥有积分 当前拥有C币
1 0 0
为了良好体验,不建议使用迅雷下载
VIP和C币套餐优惠
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
您的积分不足,将扣除 10 C币
为了良好体验,不建议使用迅雷下载
确认下载
下载
您还未下载过该资源
无法举报自己的资源

兑换成功

你当前的下载分为234开始下载资源
你还不是VIP会员
开通VIP会员权限,免积分下载
立即开通

你下载资源过于频繁,请输入验证码

您因违反CSDN下载频道规则而被锁定帐户,如有疑问,请联络:webmaster@csdn.net!

举报

若举报审核通过,可返还被扣除的积分

  • 举报人:
  • 被举报人:
  • *类型:
    • *投诉人姓名:
    • *投诉人联系方式:
    • *版权证明:
  • *详细原因: