基于python实现的深圳房地产二手楼盘数据分析，数据来源链-家+源代码+文档说明+数据库

# 深圳房地产二手楼盘数据分析<br> 使用Python抓取深圳链家房地产数据，保存至mysql数据库，并进行数据分析<br> 逻辑：<br> 1、通过任意一个链家网址进入，抓取链家二级域名网址，如sz.lianjia.com;bj.lianjia.com<br> 2、通过二级链接组装二手房链接地址，如sz.lianjia.com/ershoufang/<br> 3、获取二手房页面的筛选条件标签：地区、价格等，如ershoufang/p2/，再次进行组装，与当前请求的url<br> --目标格式为sz.lianjia.com/ershoufang/p2/，可查询深圳市200-300万的房子<br> 4、查询当前筛选条件共多少页，获取页面的页码最大值，进行循环生成最终请求的url<br> --如sz.lianjia.com/ershoufang/p2/pg2/<br> 5、进行请求最终url，并保存页面房产信息<br> 6、保存至mysql数据库<br> # Configuration 前端框架:Bootstrap+Dash<br> 爬虫框架:Scrapy+BeautifulSoup<br> 数据库：Mysql<br> 数据分析模块：Pandas<br> 服务器：RedHat<br> # Project log Creation date:2017/12/22 10:41<br> Version:0.1<br> Describe:<br> - Create Project - Use Scrapy Requests - Use Bs4 Responses Data Version:0.2<br> Update date:2017/12/25 20:37<br> - Optimization data,(Id,Region,Garden,Layout,Size,Direction,Renovation,Elevator,Price) - Save To Mysql Data Version:0.3<br> - Analysis data Version:1.0<br> - use Dash + pandas show data.  # Thanks [Scrapy](http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/overview.html)<br> [BeautifulSoup](https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#get-text)<br> [Python菜鸟教程](http://www.runoob.com/python/python-dictionary.html)<br> ....