# web-log-click-data-analysis-project
网站日志点击流数据分析
1.利用flume采集日志数据
2.利用Hadoop hdfs存储日志数据
3.利用Hadoop mapreduce进行数据的清洗和过滤
4.利用hive建立数据仓库、采用星型模型构建各种维度的表
5.利用hivesql进行各种维度的数据分析和计算
6.利用sqoop导出数据到mysql
7.利用ssm框架进行数据的展示
taotao-weblog-analysis基于openresty kafka hadoop hive 离线网站日志点击流数据分
版权申诉
147 浏览量
2023-12-28
21:48:39
上传
评论
收藏 43KB ZIP 举报
taotao-weblog-analysis-master.zip （42个子文件） 
taotao-weblog-analysis-master 
web-log-click-data-analysis-project.iml 13KB pom.xml 2KB src main java step6_data_sqoop data_sqoop 335B step2_mapreduce_pre com.bigdata.log.click utils WebLogParser.java 2KB mrbean VisitBean.java 3KB PageViewsBean.java 5KB WebLogBean.java 5KB mr ClickStreamPageVisit.java 4KB ClickStreamPageViews.java 8KB pre WebLogPreProcess.java 3KB step7_workflow_scheduling 工作流单元测试 1KB workflow_scheduling 4KB step1_flume_log_collection GenerateLog.py 2KB tail-hdfs.conf 2KB step8_data_display data_display 845B step3_data_warehouse_table_design 1_ods_weblog_origin_table 565B 3_ods_click_stream_visit 537B 2_ods_click_pageviews_table 979B 7_ods_dim_section 341B 4_ods_dim_time 263B 6_ods_dim_termination 310B 5_ods_dim_area 350B step5_ETL_data_analysis 关键路径转化率分析_漏斗模型 需求分析 109B 开发实现 2KB 模型设计 137B 访客分析 每日新访客 1KB 独立访客 1KB Visit分析_点击流模型 回头_单次访客统计 564B 人均访问频次 214B 人均访问频度 424B PV_statistics 统计pv总量最大的来源TOPN 统计pv总量最大的来源TOPN 1KB 多维度统计PV总量 时间维度 1KB 栏目维度 82B 终端维度 581B referer维度 referer维度 1KB 人均浏览页数 人均浏览页数 399B 受访分析 受访分析 439B step4_ETL 3_ods_tmp_detail 1KB 1_ods_weblog_detail 954B 2_ods_tmp_referurl 358B .gitignore 15B README.md 405B资源评论
