# 基于Hadoop的视频收视率分析
本项目分为四个模块，分别为爬虫模块、离线数据分析模块、公共基础模块、web展示模块。首先用WebMagic爬取的B站视频数据作为数据源，构建以离线分析为基础囊括大数据主要离线技术的架构进行数据分析。针对系统的处理速度与实际生产环境的所需性，对分布式架构进行了研究。在搭建技术架构的必要基础之上采用了分布式的项目部署方式，保证在生产环境下的实际生产项目的容灾性和可扩展性，提高了系统的应用性和效率。最终完成了基于大数据技术的视频收视率分析设计与实现。具体的内容有：
（1） 采用三台虚拟机进行分布式环境的搭建，模拟生产环境
（2） 使用WebMagic爬虫技术爬取B站视频数据信息，将采集到的数据导入kafka中，使用Flume框架技术从kafka采集数据到Hdfs并将数据导入到Hive中,然后使用Hue操作Hive进行离线数据分析，最后利用sqoop导入mysql,整个流程采用azkaban进行脚本定时调度,达到系统需要具备的视频收视分析功能
（3） 大数据分析展示系统采用企业中现今流行的SpringBoot+Mybatis框架进行系统的后台服务层的搭建，系统首先需要具备用户登录注册等基础功能，前台采用Bootstrap+Echarts技术实现数据展示模块。
## 爬虫模块
video-log-spider:进行数据爬取,爬取B站视频信息
## 离线数据分析模块
video-log-analysis:对数据进行预处理,用Hive进行离线分析
## 公共基础模块
video-log-common:封装全局异常处理和常用工具
## web展示模块
video-log-web:用于离线分析后的web展示,已完成的功能有每日采集概况、总采集概况、各分类播放排行、总播放排行、活跃用户分析、总收藏排行、总弹幕排行
基于SpringBoot+Hadoop的视频收视率分析的设计与实现+部署文档+全部资料 高分项目.zip
版权申诉
177 浏览量
2024-05-13
18:09:42
上传
评论
收藏 1.61MB ZIP 举报
基于SpringBoot+Hadoop的视频收视率分析的设计与实现+部署文档+全部资料 高分项目.zip （214个子文件） 
bootstrap.min.css 115KB common.css 20KB laydate.css 8KB bootstrap-table.css 7KB pagination.css 656B glyphicons-halflings-regular.eot 20KB iconfont.eot 2KB fontawesome-webfont.eot 67KB glyphicons-halflings-regular.eot 20KB .gitignore 296B
trend.html 7KB head.html 2KB video_top_collect_count.html 2KB video_top_play_count.html 2KB video_top_danmaku.html 2KB video_day_type_count.html 1KB video_type_count.html 1KB video_type_max_count.html 1KB active_user_count.html 1KB HttpUtils.java 16KB JobInfoProcessorNewService.java 10KB DynamicIpsUtils.java 9KB Constants.java 8KB Constants_old.java 7KB JobInfoProcessorService.java 5KB Constants.java 4KB VideoDetails.java 4KB DataModifyMapper.java 4KB JobProcessorService.java 3KB VideoProcessorMain.java 3KB FileDatePipeline.java 3KB VideoTopCollectCountServiceImpl.java 3KB ExceptionCatch.java 3KB VideoTopPlayCountServiceImpl.java 3KB VideoTopRankScoreServiceImpl.java 3KB VideoTopDanmakuServiceImpl.java 3KB VideoTypeMaxPlayCountServiceImpl.java 2KB FileDateNewPipeline.java 2KB DataModifyDriver.java 2KB DataCleanDriver.java 2KB VideoDetails.java 2KB VideoClassifyDriver.java 2KB VideoTypeCountServiceImpl.java 2KB DynamicProxyProvider.java 2KB VideoRankInfoProcessorMain.java 2KB KafkaPipeline.java 2KB DataCleanRecordWriter.java 2KB VideoClassifyReducer.java 2KB VideoClassifyMapper.java 2KB KafkaPipeline.java 2KB VideoTopCollectCountController.java 2KB VideoTopPlayCountController.java 2KB VideoTopRankScoreController.java 2KB VideoTopDanmakuController.java 2KB Fileds.java 2KB Swagger2Configuration.java 2KB VideoInfo.java 2KB VideoUtils.java 2KB VideoUtils.java 2KB DayVideoTypeCountServiceImpl.java 1KB VideoTypeMaxPlayCountController.java 1KB HttpUtil.java 1KB VideoTopCollectCountControllerApi.java 1KB VideoTopRankScoreControllerApi.java 1KB VideoTopPlayCountControllerApi.java 1KB VideoTopDanmakuControllerApi.java 1KB MathUtils.java 1KB DayVideoTypeCountController.java 1KB VideoTypeCountController.java 1KB VideoLogMain.java 1KB VideoTypeMaxPlayCountControllerApi.java 1KB SpiderPropertiesUtils.java 1KB VideoTypeCountControllerApi.java 1KB VideoTopCollectCountService.java 1KB VideoTopPlayCountService.java 1KB VideoTopRankScoreService.java 1KB VideoTopDanmakuService.java 1006B ParseLogData.java 1001B CommonCode.java 946B DayVideoTypeCountControllerApi.java 939B ActiveUserCountController.java 931B ExtendedIOUtils.java 929B VideoCode.java 879B VideoTypeMaxPlayCountService.java 872B ActiveUserCountServiceImpl.java 847B VideoTopPlayCount.java 847B VideoTypeCountService.java 822B GlobalCache.java 822B VideoTopCollectCount.java 821B VideoTopRankScore.java 807B DayVideoTypeCountServiceTest.java 805B VideoTopDanmaku.java 799B ResponseResult.java 780B VideoLogWebApplication.java 778B ResponeVo.java 723B VideoTypeMaxPlayCount.java 677B DataCleanOutFormat.java 652B VideoTypeMaxPlayCountResult.java 585B VideoTopCollectCountResult.java 575B DataCleanMapper.java 569B共 214 条
- 1
- 2
- 3
资源评论
