大数据离线分析项目(Hadoop).pdf
版权申诉
60 浏览量
2022-06-15
13:56:06
上传
评论
收藏 562KB PDF 举报
一、 项目总体需求、具体设计
1、总体需求：捕获用户每天的行为数据，生成业务日志文件，根据日志文件清洗、
分析、提取出需要的价值信息（pv：页面浏览量 uv：独立访客数 独立 IP 会话
时长等），对网站的良好运营提供有价值的指标。
2、具体设计
2.1 捕获（JsSDK）用户行为数据（launch 事件、pageView 事件、event 事件、
chargerequet 事件）
2.2 将捕获的数据发送给 web 服务器，生成日志文件（Nginx）
2.3 将日志文件上传至文件存储系统中（Shell 脚本、Flume）
2.4 在文件存储系统中对日志文件进行清洗，过滤掉脏数据和不需要的字段
（MapReuce job 任务）
2.5 将过滤后的日志文件导入到数据库中（HBase）
2.6 通过 MapReduce 程序或 Hive 进行统计分析（Hive）
2.7 将统计分析后的结果导入到本地数据库中进行永久储存（Mysql）
2.8 在前端进行展示（SpringMVC+Highcharts）
二、 项目架构（画图）
评论0
最新资源