# Python_Spark_Analysis_DoubanMovie_Crawler
基于豆瓣电影爬虫及Spark数据分析可视化设计
开发环境：PyCharm + Python3.7 + Spark + Idea + Mysql + Echart
可视化网站入口：http://localhost:8080/login.html
账号密码： admin/1
由于我国经济的不断增长，人们的物质生活也在不断提升，因此越来越多的人观影需求增加以丰富精神生活，为分析当下用户的观影偏好以及方便人们从众多的影片中作出合适的选择，本文基于Spark分析平台及python爬虫技术等设计了一个豆瓣电影数据分析可视化系统，以完成对豆瓣电影网页的数据进行爬取，进而以折线图图、直方图等多种数据可视化的形式直观的展示给用户，从而分析用户观影偏好以及为用户选择影片时提供一定的参考。
该豆瓣电影数据分析分析可视化系统主要可以实现至少对一万条电影数据的爬取和分析，可以从中分析出热门电影类型数据占比、历年电影上线走势、电影高频词统计分析、电影评分等级分析、影评时间统计分析、上线电影数量较高年份五大模块。
基于豆瓣电影爬虫及Spark数据分析可视化设计源码+项目说明（高分毕设）.zip
版权申诉
193 浏览量
2024-02-27
14:02:08
上传
评论
收藏 5.61MB ZIP 举报
基于豆瓣电影爬虫及Spark数据分析可视化设计源码+项目说明（高分毕设）.zip （242个子文件） 
_SUCCESS 0B _SUCCESS 0B WordNum.class 9KB TypeNum.class 8KB LvNum.class 8KB CommontNum.class 7KB YearNum.class 7KB WordUtil.class 757B .part-r-00000.crc 7KB .part-r-00000.crc 3KB ._SUCCESS.crc 8B ._SUCCESS.crc 8B layui.css 78KB layer.css 14KB laydate.css 7KB code.css 1KB login.css 1KB reg.css 1KB home.css 114B movie.csv 864KB movie.csv 78KB iconfont.eot 46KB
loading-0.gif 6KB loading-2.gif 2KB loading-1.gif 701B .gitignore 184B .gitignore 184B
index.html 2KB register.html 2KB login.html 889B home.html 306B spark_movie_web.iml 16KB spark_movie.iml 559B python电影爬虫.iml 532B
jieba-analysis-1.0.2.jar 2.09MB mysql-connector-java-5.1.35.jar 946KB commons-lang3-3.3.1.jar 403KB AccountValidatorUtil.java 3KB UserController.java 3KB MapReduceETL.java 3KB CommontNum.java 2KB MovieController.java 2KB RouteConfig.java 1KB LoginFilter.java 753B UserInfo.java 461B MovieApp.java 453B Conf.java 389B IndexController.java 339B CommentNum.java 330B LvNum.java 322B Words.java 322B Type.java 320B CommentNumMapper.java 230B WordsMapper.java 215B LvNumMapper.java 214B YearNum.java 212B YearNumMapper.java 189B UserMapper.java 188B TypeMapper.java 180B
bgm.jpg 456KB echarts.min.js 727KB layui.js 284KB jquery.js 82KB README.md 1KB part-r-00000 864KB part-r-00000 350KB
icon.png 11KB icon-ext.png 6KB getm.py 5KB spark_movie.sql 1.47MB
iconfont.svg 299KB iconfont.ttf 45KB
关于系统.txt 1KB requirements.txt 347B iconfont.woff 30KB iconfont.woff2 25KB workspace.xml 10KB uiDesigner.xml 9KB uiDesigner.xml 9KB Project_Default.xml 4KB pom.xml 4KB jarRepositories.xml 1KB compiler.xml 1KB Maven__com_google_guava_listenablefuture_9999_0_empty_to_avoid_conflict_with_guava.xml 871B Maven__org_springframework_boot_spring_boot_starter_thymeleaf_2_1_0_RELEASE.xml 798B Maven__org_springframework_boot_spring_boot_starter_logging_2_1_0_RELEASE.xml 784B Maven__org_springframework_boot_spring_boot_starter_tomcat_2_1_0_RELEASE.xml 777B Maven__com_fasterxml_jackson_module_jackson_module_jaxb_annotations_2_9_7.xml 772B Maven__org_springframework_boot_spring_boot_autoconfigure_2_1_0_RELEASE.xml 770B Maven__com_fasterxml_jackson_module_jackson_module_parameter_names_2_9_7.xml 765B Maven__org_springframework_boot_spring_boot_starter_jdbc_2_1_0_RELEASE.xml 763B Maven__org_springframework_boot_spring_boot_starter_json_2_1_0_RELEASE.xml 763B Maven__org_thymeleaf_extras_thymeleaf_extras_java8time_3_0_1_RELEASE.xml 761B Maven__org_springframework_boot_spring_boot_starter_web_2_1_0_RELEASE.xml 756B Maven__org_apache_hadoop_hadoop_mapreduce_client_jobclient_3_2_2.xml 742B Maven__com_fasterxml_jackson_jaxrs_jackson_jaxrs_json_provider_2_9_7.xml 740B Maven__org_springframework_boot_spring_boot_starter_2_1_0_RELEASE.xml 728B Maven__com_fasterxml_jackson_datatype_jackson_datatype_jsr310_2_9_7.xml 724B Maven__org_apache_hadoop_hadoop_mapreduce_client_common_3_2_2.xml 721B Maven__org_hibernate_validator_hibernate_validator_6_0_13_Final.xml 717B共 242 条
- 1
- 2
- 3
资源评论
