python 爬虫 Booking（缤客）、Tripadvisor（猫途鹰）.zip

爬虫初级者的一点心得： 爬取数据之前首先需要清楚需要什么数据、这些数据在哪些页面上、得到这些数据分几步走（得到所有数据需要跳转几个页面、跳转每个页面需要先得到什么信息、跳转的页面可以得到什么信息），然后需要分析每个页面url的规律以便之后重复使用。 （写代码的时候很忘我，一旦抽离出来瞬间疲惫。然而每次爬其他网站都是新的挑战，光爬虫感觉都有好多知识要学习，本来想试用推特api爬数据结果申请被拒绝了~） ##### 环境：Anaconda Notebook Python3.0 ##### （需要先安装包的请先找相关教程安装，其中Selenium Webdriver要注意与Chrome浏览器的版本相适应） ##### Chromedriver下载：http://chromedriver.storage.googleapis.com/index.html ##### Booking主要爬取某一城市的酒店名称、酒店评分、评分等级、评论人数以及评论区的用户国籍； ##### tripadvisor爬取了某一城市的景点名称、景点类型、景点评分、评论人数以及评论区的语言类型； ##### tripadvisor还爬取了某一城市的餐厅名称、餐厅评分、评论人数以及评论区的语言类型。 所有代码均可以直接在Notebook中运行，数据均已excel表格形式存储，里面的数据类型仅是示例，只要是爬虫页面上的有的数据都可以定位爬取到。 这里主要以缤客、猫途鹰为例（Booking、TripAdvisor中文官网，因为发现外网和中文官网数据一致才决定使用中文官网，若需爬取其他外文网站首先需要清楚中文官网与外网上的数据的区别，是否符合要求的数据） ## Booking（缤客） #### Booking爬取数据的挑战主要在于找到页面url的规律，精简页面的url；找到评论的url（评论单独作为一个文件在network的reviewlist里） #### Booking前两个页面其实不需要headers，固定headers爬取数据可能会被发现，但reviewlist必须有headers！ 主要分三步进行爬取。 第一步：爬取某一个城市酒店页面左侧住宿类型以及url，因为直接爬取全部酒店，booking隐藏了部分数据，爬不到完整的数据，所以按住宿类型爬取酒店名称和url内容能够爬取到全部的酒店信息，该代码写在‘1-城市（住宿类型、酒店名称、酒店link）.ipynb’，一页25条数据； 第二步：找到酒店详情页面的规律，把第一步保存的link清洗掉其中无用的部分，进行拼接爬取酒店评分、评分等级和评论人数； 第三步：找到network中的reviewlist，一页10条评论，爬取评论页面数据 #### 只要是Booking中这三个页面的数据都能爬到，代码只展示了一小部分 ## TripAdvisor（猫途鹰） #### tripadvisor的挑战在于评论数据用了Ajax，url不变，在network里也找不到相应的文件包含可跳转的url，所以用了selenium webdriver模拟点击 同样三步走： 第一步：爬取全部的景点/餐厅数据 第二步：爬取景点/餐厅评分、评论人数 第三步：评论区的语言类型 #### 任意城市都可以用上面的代码进行，代码只示范对某一个城市数据爬取，相应页面所有数据都可以爬到！ #### 写到这我特别想吐槽tripadvisor的前端！ 首先值得肯定的是这个网站反爬虫机制做的不错，用Ajax渲染前端，但是前端样式写的也太混乱了，解决了Ajax没想到栽倒在前端样式上，同一个城市的景点详情页面排版不一样、排版一样的页面某一部分用的css名称不一样（比如评论版块的语言类型那里），同一个样式光名称分了至少四组！明明都是同样的样式内容……还有class-name太冗长，就感觉不是很不规范……看了微博一些大网站，虽然对我来讲有爬取难度，但前段写的工工整整，简直赏心悦目。