# douban-master
## 功能
数据获取: 使用爬虫工具, 在豆瓣TOP250榜单, 猫眼网票房排行榜上爬取电影相关数据, 如评分,票房等
数据持久化: 使用pandas中的DataFrame存储csv的方式和MySQL关系型数据库存储两种方式分别实现持久化
可视化分析: 从持久化的数据中选取相应数据的关系进行可视化分析
票房预测: 通过可视化分析得到的结论, 选取可能影响票房的因素, 建立预测模型和算法, 进行预测
---
## 文件结构
| 文件 | 描述 |
| -------------------------- | ------------------------------------ |
| main.py | 数据爬虫及持久化的主函数 |
| movie_basic.py | 豆瓣TOP250列表页爬取 |
| movie_detail.py | 豆瓣电影详情内页爬取 |
| database.py | 数据库连接操作及查询接口 |
| attachfile.py | 静态内容，如请求头headers等 |
| visualization_sql.ipynb | 数据可视化，数据使用SQL查询方式 |
| visualization_pandas.ipynb | 数据可视化，数据使用pandas聚合等方式 |
| predict.ipynb | 票房预测模型的建立和预测举例 |
| /html | 存放爬取的html文件 |
| /csv | 存放pandas处理的dataframe数据 |
| /result | 存放可视化结果，及数据库内容截图等 |
---
## 技术栈
Python爬虫与数据处理: requests, lxml, re, pandas
数据持久化: pymysql, pandas, MySQL
数据清洗: pandas, MySQL (实际上没做)
可视化分析: pyecharts, matplotlib, SQL, pandas
模型预测: sklearn, numpy, matplotlib
---
## 可视化举例
.png)
.png)
.png)
.png)
.png)
.png)
.png)
.png)
.png)
.png)
.png)
---
## 票房预测举例
单位/万元
电影数据可视化及票房影响因素分析与预测.zip （38个子文件） 
douban-master-main 
.gitattributes 66B src movie_detail.py 1KB main.py 6KB database.py 9KB predict.ipynb 34KB movie_basic.py 1KB visualization_pandas.ipynb 429KB unit.py 1KB visualization_sql.ipynb 598KB attachfile.py 6KB douban.sql 1.2MB
README.pdf 1.45MB .gitignore 95B README.md 2KB result 
p (2).png 154KB db.png 594KB p (16).png 135KB output.png 20KB p (4).png 159KB db_struct.png 43KB p (12).png 205KB p (18).png 144KB p (10).png 283KB p (6).png 129KB p (17).png 145KB p (19).png 454KB 预测1.png 61KB p (7).png 214KB p (9).png 139KB p (3).png 103KB p (13).png 138KB p (14).png 217KB p (8).png 216KB p (11).png 104KB 预测2.png 40KB p (5).png 129KB p (15).png 159KB p (1).png 146KB资源评论
