基于python的旅游信息爬取以及数据分析.doc

摘要

随着计算机网络技术的发展，近年来，新的编程语言层出不穷，

python 语言就是近些年来最为火爆的一门语言，python 语言，相对

于其他高级语言而言，python 有着更加便捷实用的模块以及库，具

有语法简单，语句清晰的特点，使得它在代码的编程中，变得更加简

洁容易上手，另外，python 应用特别广泛，作为是一门应用性广泛

的语言，无论是游戏的开发，还是数据的爬取，再到网站的搭建，

python 都能轻松驾驭，其中，爬虫的应用，更加使得 python 这门语

言为人所知。

关键词： Python Html 爬虫 旅游 马蜂窝

Abstract

With the development of computer network technology, in recent

years, new programming languages have emerged endlessly. Python is the

most popular language in recent years. Python has more convenient and

practical modules and libraries than other high-level languages. , Has the

characteristics of simple syntax and clear statements, which makes it more

concise and easy to use in the programming of code. In addition, Python is

particularly widely used as a versatile language, from website construction

to data processing to gadgets. The design of small games can be done by

python. Among them, the application of reptiles makes python a language

more known.

we can analyze the data Process it to get the information we need.

This article is to implement a crawler's information collection and

analyze the data collected by python to get the desired data.

Key words： Python Html reptile tourism Mafenwo

目录

第一章 引言 .............................................................................................6

2.1.3 Python 语言的缺点 .............................9

2.2.1 URL 的定义 ....................................9

2.2.2 URL 的解读 ....................................9

2.3.1 HTML 的定义 ..................................10

2.3.2 爬虫与 HTML ..................................10

2.4.1 Chrome ......................................11

2.4.2 Pycharm .....................................11

3.3.3 爬取信息的处理 ..............................14

第四章 项目的实现 ..............................................................................15

4.1.1 城市编号获取使用库的介绍 ....................15

4.1.2 城市编号获取过程 ............................16

4.2.1 城市信息获取使用库的介绍 ....................22

4.2.2 城市信息获取过程 ............................23

4.3.1 数据可视化处理所使用的库 ....................31

参考文献 .....................................................................................................41

致谢 .............................................................................................................42

第一章 引言

1.1 背景

随着近些年来网络的快速发展，网络进入了大信息时代，网络上的信息呈现

爆炸式的飞涨，五花八门的信息显示，这使得人们在网络上寻找自己所需要的信

息时，显得越来越困难，当然，一个问题的出现，必然有一个方法去对应，信息

的剧增，与之对应的，便是搜索引擎的出现，比如 google、百度等等，搜索引

擎通过搜集网络上数以万计的不同类型的网页信息，并为其建立起索引，通过搜

索引擎，即使网络上的信息种类繁多，我们还是能够通过关键词的搜索，搜索得

出与之对应的信息的网页。

本文通过 python 语言，实现了一个对于马蜂窝旅游网站的信息采集分析，

通过对马蜂窝旅游城市的城市编号爬取，根据马蜂窝网站的网址规则，通过拼接

得到马蜂窝旅游网站的城市 url，根据获取得到的 url，进入马蜂窝旅游城市页

面，观察页面组成结构，通过标签定位，爬取我们所需要的页面信息，将其保存

入本地文件，再对文件里面的数据进行数据处理，可视化分析，告诉你旅游去哪

儿好。

1.2 国内外研究情况

python 作为搜索引擎技术组成部分之一，自九十年代初诞生了第一个网络

爬虫以来，python 技术已经经过了 20 多年的发展，经过这么多年的发展，python

技术也趋于成熟，逐渐覆盖了网页开发、游戏开发、爬虫分析可视化、脚本开发