Python爬虫基础教程-Urllib详解.pdf

Python爬⾍基础教程-Urllib详解 前⾔ 爬⾍也了解了⼀段时间了希望在半个⽉的时间内结束它的学习，开启python的新⼤陆，今天⼤致总结⼀下爬⾍基础相关的类库---。 Urllib urllib提供了⼀系列⽤于操作URL的功能。 Python3中将python2.7的urllib和urllib2两个包合并成了⼀个urllib库，其主要包括⼀下模块： urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser robots.txt解析模块 urllib.request urllib.request.urlopen 通过案例可以看出urlopen，会返回⼀个⼆进制的对象，对这个对象进⾏read（）操作可以得到⼀个包含⽹页的⼆进制字符串，然后⽤ decode()解码成⼀段html代码。 urlopen参数如下： urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault