Python爬虫包爬虫包 BeautifulSoup 递归抓取实例详解递归抓取实例详解
Python爬虫包爬虫包 BeautifulSoup 递归抓取实例详解递归抓取实例详解
概要：概要：
爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是一种递归的过程。它们首先需要获得网页的内容，然后分析
页面内容并找到另一个URL，然后获得这个URL的页面内容，不断重复这一个过程。
让我们以维基百科为一个例子。
我们想要将维基百科中凯文·贝肯词条里所有指向别的词条的链接提取出来。
# -*- coding: utf-8 -*-
# @Author: HaonanWu
# @Date: 2016-12-25 10:35:00
# @Last Modified by: HaonanWu
# @Last Modified time: 2016-12-25 10:52:26
from urllib2 import urlopen
from bs4 import BeautifulSoup
html = urlopen('http://en.wikipedia.org/wiki/Kevin_Bacon')
bsObj = BeautifulSoup(html, "html.parser")
for link in bsObj.findAll("a"):
if 'href' in link.attrs:
print link.attrs['href']
上面这个代码能够将页面上的所有超链接都提取出来。
/wiki/Wikipedia:Protection_policy#semi
#mw-head
#p-search
/wiki/Kevin_Bacon_(disambiguation)
/wiki/File:Kevin_Bacon_SDCC_2014.jpg
/wiki/San_Diego_Comic-Con
/wiki/Philadelphia
/wiki/Pennsylvania
/wiki/Kyra_Sedgwick
首先，提取出来的URL可能会有一些重复的
其次，有一些URL是我们不需要的，如侧边栏、页眉、页脚、目录栏链接等等。
所以通过观察，我们可以发现所有指向词条页面的链接都有三个特点：
它们都在id是bodyContent的div标签里
URL链接不包含冒号
URL链接都是以/wiki/开头的相对路径（也会爬到完整的有http开头的绝对路径）
from urllib2 import urlopen
from bs4 import BeautifulSoup
import datetime
import random
import re
pages = set()
random.seed(datetime.datetime.now())
def getLinks(articleUrl):
html = urlopen("http://en.wikipedia.org"+articleUrl)
bsObj = BeautifulSoup(html, "html.parser")
return bsObj.find("div", {"id":"bodyContent"}).findAll("a", href=re.compile("^(/wiki/)((?!:).)*$"))
links = getLinks("/wiki/Kevin_Bacon")
while len(links) > 0:
newArticle = links[random.randint(0, len(links)-1)].attrs["href"] if newArticle not in pages:
print(newArticle)
pages.add(newArticle)
links = getLinks(newArticle)
其中getLinks的参数是/wiki/<词条名称>，并通过和维基百科的绝对路径合并得到页面的URL。通过正则表达式捕获所有指向
资源评论
