# Bigdata-movie
本项目以电影数据为主题,以数据采集、处理、分析及数据可视化为项目流程,可实现百万级电影数据离线处理与计算。
项目详解:https://blog.csdn.net/qq_36816848/article/details/112861158.
开发环境:IDEA+Pycharm+Python3+hadoop2.8+hive2.3.0+mysql5.7+sqoop+spark
1.数据采集(pachong.py)、预处理:
采集豆瓣电影top250电影信息,采集电影名称、电影简介、电影评分、其他信息、电影连接等字段,抓取电影票房总收入排名情况(取前20),删除冗余和空值字,利用Python的PyMysql库连接本地Mysql数据库并导入movies表,可以将数据保存到本地,从而进行数据可视化展示,也可将数据导入到大数据的Hive数仓工具中,用于大数据分析。
采集数据展示:
排序 影片名称 类型 总票房(万) 场均人次 上映日期
1 战狼2 动作 567928 38 2017/7/27
2 哪吒之魔童降世 动画 501324 24 2019/7/26
3 流浪地球 科幻 468433 29 2019/2/5
4 复仇者联盟4:终局之战 动作 425024 23 2019/4/24
5 红海行动 动作 365079 33 2018/2/16
6 唐人街探案2 喜剧 339769 39 2018/2/16
7 美人鱼 喜剧 339211 44 2016/2/8
8 我和我的祖国 剧情 317152 36 2019/9/30
9 我不是药神 剧情 309996 27 2018/7/5
10 中国机长 剧情 291229 27 2019/9/30
2.数据统计及可视化:
数据可视化能使数据更加直观,更有利于分析,可以说可视化技术是数据分析与挖掘最重要的内容。Matplotlib作为基于Python语言的开源项目,旨在为Python提供一个数据绘图包,实现专业丰富的绘图功能。
(1)电影票房排名
利用Python中Matplotlib绘图库及Pandas中的pd.readcsv()方法读取Excel电影数据文件,读取每列数据进行,设置参数将结果绘制成折线图。
(2)电影评分排名douanscore.py
利用Python的Request、Beautifulsoup库进行爬虫,模拟请求获取网页数据,结合正则表达式匹配提取数据,并将豆瓣电影top250电影数据存储到Mysql数据库中,通过数据库语句使用order by实现电影top评分统计。
movie表结构:
属性 字段命名 类型 约束
id 序号 int primary key
name 电影名称 VARCHAR(20) not null
Link 电影连接 VARCHAR(100) not null
score 评分 VARCHAR(5) not null
descr 电影概述 VARCHAR(50)
directer 导演及其他 VARCHAR(100)
最终电影数据结果如下:
利用数据库语句统计movies进行电影评分top20,并将结果通过Python的Matplotlib库进行数据可视化,绘图结果如下:
(3)Echarts最近上映电影
Echarts 主要用于数据可视化展示,是一个开源的JavaScript库,兼容现有绝大部分浏览器。在Python中,Echarts被包装成数据可视化工具库Pyecharts。它提供直观、丰富、可个性化定制的数据可视化图表,包括常规的折线图、柱状图、散点图、饼图等。
(4)影片《囧妈》短评信息
大年初一电影《囧妈》网络首映映,截止目前其豆瓣电影评分6.0分,通过电影《囧妈》的豆瓣热门短评进行案例分析,以八爪鱼软件为数据采集工具进行数据爬虫,采集字段有用户名、评级、点赞数和评论内容等信息,利用正则表达式匹配字段标签,根据豆瓣电影提供的评级星数系统显示力荐、推荐、还行、较差、很差等五个评级,满分为五星,数据格式如下:
(5)词图云cituyun.py
利用Python的jieba分词工具以及wordcloud库实现词云展示,截取电影《囧妈》评论一列,按照规定的停用词切割每行语句,实现分词功能。通过词图云展示可以直观地看出用户对电影的态度情况,数据展示结果如下:
(6)情感分析emotion.py
运用Python机器学习中的情感分析库Snownlp和绘图库pyplot挖掘囧妈短评数据,做出情感分析并展示。利用Snownlp中s.sentiments方法计算情感分数,分数在0.5以上判断为是好评,可以看到电影的评论差距明显。情感分析效果图如下:
(7)python词频统计wordcount.py
3.大数据分析:
大数据处理最重要的环节就是数据分析,数据分析通常分为两种:批处理和流处理。批处理是对一段时间内海量的离线数据进行统一处理,对应的处理框架Mapreduce、Spark等;流处理则是针对动态实时的数据处理,即在接收数据的同时就对其进行处理,对应的处理框架有 Storm、Spark Streaming、Flink等。本文以离线计算为主,介绍电影数据分析。
(1)Mapreduce离线计算(mapreduce_hive文件)
Mapreduce编程词频统计主要利用wordcount思想,通过按规定格式分割词句,实现单词统计词频。其统计数据为历史电影的上映信息,map阶段主要负责单词分割统计,map阶段把每个字符串映射成键、值对,按行将单词映射成(单词,1)形式,Shuffle过程会对map的结果进行分区排序,然后按照同一分区的输出合并在一起写入到磁盘中,最终得到一个分区有序的文件,最后reduce阶段会汇总统计出每个词对应个数,数据最终会存储在HDFS上。本文以电影词作为统计对象,实现单词统计词频功能。词频统计流程图如下:
map阶段会把每个字符串映射成键、值对,按行将单词映射成(单词,1)形式输出,其中shuffle过程会对map的结果进行分区排序,然后按照同一分区的输出合并在一起写入到磁盘中,最终得到一个分区有序的文件。通过Python编程实现Map阶段代码如下:
Map阶段代码:
import sys
for line in sys.stdin:
ss = line.strip().split(' ')
for s in ss:
if s.strip() != "":
print "%s\t%s" % (s, 1)
(2)reduce阶段
reduce阶段会汇总map阶段结果每个词对应个数,数据最终会存储在HDFS上。本文通过统计《哈利波特》英文电影文本,实现词频统计功能。实现Reduce阶段代码如下:
Reduce阶段代码:
import sys
current_word = None
count_pool = []
sum = 0
for line in sys.stdin:
word, val = line.strip().split('\t')
if current_word == None:
current_word = word
if current_word != word:
for count in count_pool:
sum += count
print "%s\t%s" % (current_word, sum)
current_word = word
count_pool = []
sum = 0
count_pool.append(int(val))
for count in count_pool:
sum += count
print "%s\t%s" % (current_word, str(sum))
利用Hadoop Streaming可以使用任何可运行程序或语言作为Map和Reduce的创建和执行MapReduce作业,通过编写shell脚本执行wordcount统计结果如下:
(2)Hive数据仓库
Hive是一个基于Hadoop的数据仓库工具,主要用于解决海量结构化日志的数据统计,可以将结构化的数据文件映射成一张表,通过类SQL语句的方式对表内数据进行查询、统计分析。利用Sqoop数据传输工具可以将Mysql数据库信息导入到Hive数仓。
运用Hive可以实现海量数据分析,并且支持自定义函数,省去MapReduce编程。本文针对历史豆瓣电影数据进行统计,数据经过清洗,删除空值、多余项,得到大约100000多条电影数据,部分数据格式如下:
(1)建表
Hive建表分为内部表和外部表两种。创建内部表,表内数据将会移动到数据仓库指向的路径,删除表时,数据会随之删除;而外部表在删除时,不会删除数据表原有信息,相对更加安全。
本文电影表包括电影名称、评分、评论人数、类型、上映年份,以及总分等字段,数据默认逗号分隔,其中总分=电影评分*评论人数,数据创建命令如下:
create table IF NOT EXISTS movie1(name string,
score double,
people int,
type string,
address string,
time int,
sum float)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
(2)导入数据
Hadoop支持各类型文件上传到HDFS,可以通过本地命
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
1、该资源内项目代码经过严格调试,下载即用确保可以运行! 2、该资源适合计算机相关专业(如计科、人工智能、大数据、数学、电子信息等)正在做课程设计、期末大作业和毕设项目的学生、或者相关技术学习者作为学习资料参考使用。 3、该资源包括全部源码,需要具备一定基础才能看懂并调试代码。 基于数据采集、处理、分析及数据可视化为项目流程实现百万级电影数据离线处理与计算源码+项目说明(功能包括python爬虫).zip 基于数据采集、处理、分析及数据可视化为项目流程实现百万级电影数据离线处理与计算源码+项目说明(功能包括python爬虫).zip 基于数据采集、处理、分析及数据可视化为项目流程实现百万级电影数据离线处理与计算源码+项目说明(功能包括python爬虫).zip 基于数据采集、处理、分析及数据可视化为项目流程实现百万级电影数据离线处理与计算源码+项目说明(功能包括python爬虫).zip 基于数据采集、处理、分析及数据可视化为项目流程实现百万级电影数据离线处理与计算源码+项目说明(功能包括python爬虫).zip
资源推荐
资源详情
资源评论
收起资源包目录
基于数据采集、处理、分析及数据可视化为项目流程实现百万级电影数据离线处理与计算源码+项目说明(功能包括python爬虫,Matplotlib、Echarts数据可视化、Mapreduce、hive数据统计、情感分析、词图云、电影票房与评分预测).zip (45个子文件)
project_code_0628
movie.csv 684KB
scorepredict.py 3KB
dataout
图12导演与影片类型关系.png 37KB
8情感分析.png 19KB
图13影片类型与票房.png 47KB
图7豆瓣电影词语云.png 234KB
图14电影收入票房top20.png 61KB
图9词频分析.png 41KB
图4豆瓣评分top20.JPG 47KB
3pachong.py 3KB
read 0B
lianxi
movie.csv 6KB
中国票房数据.csv 950KB
film-csv.txt 20KB
查询top10.txt 73B
background1.png 319KB
6囧妈电影短评.csv 39KB
color.jpg 143KB
result.txt 33KB
SimHei.ttf 9.6MB
pfpredict.py 3KB
score.log 150KB
stopwords.txt 20KB
豆瓣电影top250.sql 86KB
tyc.txt 18KB
7cituyun.py 2KB
movies.dbf 100KB
14movierank.py 796B
5Echarts最近上映电影
js
echarts.min.js 651KB
movie.html 8KB
9wordcount.py 1KB
13movietype.py 2KB
8emotion.py 818B
12director.py 2KB
4douanscore.py 972B
电票票房预测xls.xls 115KB
.gitignore 2KB
README.md 9KB
mapreduce_hive
mr流程.png 198KB
red_new.py 327B
mrresult.local 177KB
The_Man_of_Property.txt 617KB
map_new.py 253B
run.sh 477B
mr和hive过程及结果.txt 8KB
共 45 条
- 1
资源评论
辣椒种子
- 粉丝: 4241
- 资源: 5837
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 基于Revel,Jquery, Xorm开发的内容管理系统详细文档+优秀项目+全部资料.zip
- 基于websocket单台机器支持百万连接分布式聊天(IM)系统详细文档+优秀项目+全部资料.zip
- 基于原生Fabric-SDK-Go 实现一个简单的学历征信系统(web项目),状态数据库使用 CouchDB 来实现详细文档+优秀项目+全部资料.zip
- 基于开源CDN系统GoEdge制作的模版UI、插件、脚本合集详细文档+优秀项目+全部资料.zip
- 2022机器人SLAM知识星球答疑手册
- DSP28335 PMSM电机控制程序
- DSP28335 BLDC电机控制程序
- MiniBalance PC上位机开发资料
- 中大型三相异步电机电磁设计软件
- PLSQL程序设计Word文档doc格式最新版本
- 一、MySQL的介绍与安装
- 25个团队建设小游戏.ppt
- 管理团队拓展游戏.doc
- 几个经典团队游戏.doc
- 企业团队建设游戏活动经典收藏.doc
- 十个团队建设游戏.ppt
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功