毕业论文-基于python对“中国新一线城市”2017年新建商品房房价数据挖掘.docx

基于 Python 对“中国新一线城市”2017 年新建商品房房价

数据的挖掘分析

摘要：在大数据的背景下，各行各业的发展对数据的依赖度越来越高。利用数据

分析，为决策者提供决策依据，更是成为当前商业形式的一大趋势。同时房价信

息牵动着，反映着很多经济、民生、就业的信息。所以房价信息是极有价值的一

种数据信息。在对房价数据分析的难题有二，一是大量数据的获取，二是对数据

的分析和挖掘价值。本文将介绍 python 抓取数据和分析数据，同时提取出具有

same time, the price information reflects, reflecting many economic, livelihood and

employment information. So house price information is a very valuable kind of data

information. There are two problems in the analysis of house price data. One is the

acquisition of large amounts of data, and the other is the analysis and excavation of

data. This article will introduce python to grab data and analyze data while extracting

commercially valuable data. This article will be divided into two major modules, one

is to use python to obtain data, and the other is to use python to analyze data.

Key words: python; data analysis; web crawler; python data analysis;

目 录

摘 要 ............................................................I

1.2.2 创建项目 ..................................................2

1.2.3 定义 Item .................................................3

1.2.4 爬虫编写 .................................................4

1.3 数据存储 ......................................................6

1.3.1 编写 item pipeline ...........................................6

1.3.2 启动 item pipeline ...........................................6

1.3.3 开始运行爬虫 ..............................................7

2 数据预处理........................................................7

2.1 数据清洗 ......................................................8

2.2 数据集成 ......................................................8

4.1 可行性分析 ...................................................15

4.2 线性回归 .....................................................16

4.3 训练数据，建立回归方程 .......................................16

参考文献 ..........................................................18

致 谢...........................................................19

1 利用爬虫获取数据

正改变着各行各业的生活和工作方式，这也是为什么在我们身边有这么多互联网

1.1 爬虫原理

种按照事先指定好的策略，按照一定规则和目的自动浏览互联网，保存互联网信

息和数据的程序。对爬虫程序应用的最为普遍的就是搜索引擎这一类的网站，这

一类的网站通常会通过爬虫程序更新自身的网站内容。并且近年火热的大数据，

其中绝大部分的大数据初创公司依然会依靠爬虫程序来获取各种维度的数据集。

这两类的爬虫程序一般比较复杂和高难度，用以达到高可用的爬虫程序，使其能

持续性的运行，源源不断的获取数据。当然本文的爬虫类型和形态还不能达到大

型的网络爬虫项目。但已经足以满足本文需要的数据分析需求。

型任务。也就是说，影响爬虫性能以及速度的因素通常不是 CPU 的计算能力，相

在解决爬虫效率瓶颈上，需要从如何充分利用 I/O 等待的时间的角度解决问题。

并且由于 python 的特性，有全局锁的限制，使用多进程来说往往会是更好的选

择。

的 twisted 线程集，这是一个可以极大提升爬虫抓取效率的解决方案。而 scrapy

去了自己编写爬虫的效率问题和线程安全问题。

有自己的一套爬虫框架，或则是使用开源的 python 爬虫框架。如此做可以极大

减少“重复造轮子”，将效率提升的同时，还可以使项目更加规范化，大大方便

日后对项目的维护和管理。鉴于以上原因，本文爬虫部分项目将使用 python 著

名的爬虫框架 scrapy 进行开发。

1.2.2 创建项目

到的命令是 scrapy startproject HousePrice，创建完毕后，会在项目目录下发

现如下图所示几个文件：

1.2.3 定义 Item

并且作为爬取到的数据的容器。在 scrapy 中将所要提取的字段名全部定义到

items 文件当中，这个文件需要继承自 scrapy.Item 这个类，并且需要将字段名

定义为 scrapy.Field()类型。编写起来也很简单，只是相对于以往开发爬虫多

了对字段的类型定义和类的继承与封装。

Item 的定义。经过对房价信息网站的调研，我们抓取以下字段，楼盘名，地理

位置，房型，区域空间，销售情况做数据分析。