python爬虫+简单爬取信息内容+网页资料爬取

学习和练习使用，简单爬取信息内容。 经过对taobao url链接的分析，比如： 我们搜索“耳机”就会看到这样的url：https://s.taobao.com/search?q=%E8%80%B3%E6%9C%BA&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170306 斜体加粗部分是我们检索的商品名字。 再看看第2页，会发现url最后面以‘&s=44’结束，第三页则是‘&s=88’......依次类推，每一页显示44个商品。 内容存入指定目录txt文件中。 爬虫是什么 爬虫简单的来说就是用程序获取网络上数据这个过程的一种名称。 爬虫的原理 如果要获取网络上数据，我们要给爬虫一个网址（程序中通常叫URL），爬虫发送一个HTTP请求给目标网页的服务器，服务器返回数据给客户端（也就是我们的爬虫），爬