# Python_Spark_Analysis_DoubanMovie_Crawler
基于豆瓣电影爬虫及Spark数据分析可视化设计
开发环境:PyCharm + Python3.7 + Spark + Idea + Mysql + Echart
可视化网站入口:http://localhost:8080/login.html
账号密码: admin/1
由于我国经济的不断增长,人们的物质生活也在不断提升,因此越来越多的人观影需求增加以丰富精神生活,为分析当下用户的观影偏好以及方便人们从众多的影片中作出合适的选择,本文基于Spark分析平台及python爬虫技术等设计了一个豆瓣电影数据分析可视化系统,以完成对豆瓣电影网页的数据进行爬取,进而以折线图图、直方图等多种数据可视化的形式直观的展示给用户,从而分析用户观影偏好以及为用户选择影片时提供一定的参考。
该豆瓣电影数据分析分析可视化系统主要可以实现至少对一万条电影数据的爬取和分析,可以从中分析出热门电影类型数据占比、历年电影上线走势、电影高频词统计分析、电影评分等级分析、影评时间统计分析、上线电影数量较高年份五大模块。
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
- 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! <项目介绍> 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 --------
资源推荐
资源详情
资源评论
收起资源包目录
基于豆瓣电影爬虫及Spark数据分析可视化设计毕业源码案例设计+源代码+文档说明
(242个子文件)
_SUCCESS 0B
_SUCCESS 0B
WordNum.class 9KB
TypeNum.class 8KB
LvNum.class 8KB
CommontNum.class 7KB
YearNum.class 7KB
WordUtil.class 757B
.part-r-00000.crc 7KB
.part-r-00000.crc 3KB
._SUCCESS.crc 8B
._SUCCESS.crc 8B
layui.css 78KB
layer.css 14KB
laydate.css 7KB
code.css 1KB
login.css 1KB
reg.css 1KB
home.css 114B
movie.csv 864KB
movie.csv 78KB
iconfont.eot 46KB
loading-0.gif 6KB
loading-2.gif 2KB
loading-1.gif 701B
.gitignore 184B
.gitignore 184B
index.html 2KB
register.html 2KB
login.html 889B
home.html 306B
spark_movie_web.iml 16KB
spark_movie.iml 559B
python电影爬虫.iml 532B
jieba-analysis-1.0.2.jar 2.09MB
mysql-connector-java-5.1.35.jar 946KB
commons-lang3-3.3.1.jar 403KB
AccountValidatorUtil.java 3KB
UserController.java 3KB
MapReduceETL.java 3KB
CommontNum.java 2KB
MovieController.java 2KB
RouteConfig.java 1KB
LoginFilter.java 753B
UserInfo.java 461B
MovieApp.java 453B
Conf.java 389B
IndexController.java 339B
CommentNum.java 330B
LvNum.java 322B
Words.java 322B
Type.java 320B
CommentNumMapper.java 230B
WordsMapper.java 215B
LvNumMapper.java 214B
YearNum.java 212B
YearNumMapper.java 189B
UserMapper.java 188B
TypeMapper.java 180B
bgm.jpg 456KB
echarts.min.js 727KB
layui.js 284KB
jquery.js 82KB
README.md 1KB
part-r-00000 864KB
part-r-00000 350KB
icon.png 11KB
icon-ext.png 6KB
getm.py 5KB
spark_movie.sql 1.47MB
iconfont.svg 299KB
iconfont.ttf 45KB
关于系统.txt 1KB
requirements.txt 347B
iconfont.woff 30KB
iconfont.woff2 25KB
workspace.xml 10KB
uiDesigner.xml 9KB
uiDesigner.xml 9KB
Project_Default.xml 4KB
pom.xml 4KB
jarRepositories.xml 1KB
compiler.xml 1KB
Maven__com_google_guava_listenablefuture_9999_0_empty_to_avoid_conflict_with_guava.xml 871B
Maven__org_springframework_boot_spring_boot_starter_thymeleaf_2_1_0_RELEASE.xml 798B
Maven__org_springframework_boot_spring_boot_starter_logging_2_1_0_RELEASE.xml 784B
Maven__org_springframework_boot_spring_boot_starter_tomcat_2_1_0_RELEASE.xml 777B
Maven__com_fasterxml_jackson_module_jackson_module_jaxb_annotations_2_9_7.xml 772B
Maven__org_springframework_boot_spring_boot_autoconfigure_2_1_0_RELEASE.xml 770B
Maven__com_fasterxml_jackson_module_jackson_module_parameter_names_2_9_7.xml 765B
Maven__org_springframework_boot_spring_boot_starter_jdbc_2_1_0_RELEASE.xml 763B
Maven__org_springframework_boot_spring_boot_starter_json_2_1_0_RELEASE.xml 763B
Maven__org_thymeleaf_extras_thymeleaf_extras_java8time_3_0_1_RELEASE.xml 761B
Maven__org_springframework_boot_spring_boot_starter_web_2_1_0_RELEASE.xml 756B
Maven__org_apache_hadoop_hadoop_mapreduce_client_jobclient_3_2_2.xml 742B
Maven__com_fasterxml_jackson_jaxrs_jackson_jaxrs_json_provider_2_9_7.xml 740B
Maven__org_springframework_boot_spring_boot_starter_2_1_0_RELEASE.xml 728B
Maven__com_fasterxml_jackson_datatype_jackson_datatype_jsr310_2_9_7.xml 724B
Maven__org_apache_hadoop_hadoop_mapreduce_client_common_3_2_2.xml 721B
Maven__org_hibernate_validator_hibernate_validator_6_0_13_Final.xml 717B
共 242 条
- 1
- 2
- 3
资源评论
- jc_walker2024-04-02发现一个宝藏资源,赶紧冲冲冲!支持大佬~
机器学习的喵
- 粉丝: 518
- 资源: 1269
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功