Hadoop之排球比赛数据分析系统
(1)基于centos 7搭建Hadoop大数据平台。 (2)基于Hadoop平台与MapReduce计算框架,实现数据分析。 (3)基于SpringBoot、Echarts搭建可视化系统,完成数据交互与可视化。
(1)基于centos 7搭建Hadoop大数据平台。 (2)基于Hadoop平台与MapReduce计算框架,实现数据分析。 (3)基于SpringBoot、Echarts搭建可视化系统,完成数据交互与可视化。
主要功能和技术说明如下: (1)Flume数据采集,HDFS数据储存 (2)hive数据仓库分层设计,包含ODS、DWD、ADS层 (3)sqoop数据迁移,完成HIve与MySQL数据库中的数据交互 (4)Echarts搭建动态可视化大屏 (5)SpringBoot搭建可视化后台系统,完成前端与后台的数据传递与交互。 (6)基于Cenots7 搭建虚拟机,配置Hadoop、HDFS、Hive、sqoop、flume、mysql等大数据组件。
(1)基于Hadoop中的mapreduce计算框架实现协同过滤算法,根据用户对电影的评分、收藏记录进行推荐 (2)基于SpringBoot、MySQL搭建电影管理系统
技术路线: 1、数据爬取:基于python爬取贝壳网站的租房信息,并进行数据清洗 2、数据分析:基于MapReduce计算框架进行数据分析,分析维度包括:租房类型分析、各小区租房数量分析、各小区租房均价、租房价格范围分析、居室类型分析等 3、数据可视化:Python+Flask+echarts+MySQL可视化
主要功能和技术说明如下: (1)Flume数据采集,HDFS数据储存 (2)hive数据仓库分层设计,包含ODS、DWD、ADS层 (3)sqoop数据迁移,完成HIve与MySQL数据库中的数据交互 (4)Echarts搭建动态可视化大屏 (5)SpringBoot搭建可视化后台系统,完成前端与后台的数据传递与交互。 (6)基于Cenots7 搭建虚拟机,配置Hadoop、HDFS、Hive、sqoop、flume、mysql等大数据组件。 (7)代码简单易懂,包含一定的注释。 (8)数据来源为淘宝平台发布的公开数据,数据字段包括用户id、年龄、性别、商品id、商品类型id、用户行为、省份等。
技术路线: 1、数据集:从公开渠道获取数据 2、数据分析:Flink、kafka实时数据分析 3、springBoot+echart可视化
Hadoop+kafka+SparkStreaming 数据采集与分析 SpringBoot+Mysql+Echarts可视化展示