Python编写百度贴吧的简单爬虫编写百度贴吧的简单爬虫
操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数
功能:下载对应页码的所有页面并储存为HTML文件,以当前时间命名
代码:
# -*- coding: utf-8 -*-
#----------------------------
# 程序:百度贴吧的小爬虫
# 日期:2015/03/28
# 语言:Python 2.7
# 操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数
# 功能:下载对应页码的所有页面并储存为HTML文件,以当前时间命名
#----------------------------
import urllib2
import time
def baidu_tieba(url, start, end):
for i in range(start, end):
sName = time.strftime('%Y%m%d%H%M%S') + str(i) + '.html'
print '正在下载第' + str(i) + '个网页,并将其储存为' + sName + '...'
f = open(sName, 'w+')
m = urllib2.urlopen(url+str(i))
n = m.read()
f.write(n)
f.close()
print '成功下载'
baiduurl = str(raw_input('请输入贴子的地址,去掉pn后面的数字>>'))
begin_page = int(raw_input('请输入帖子的起始页码>>'))
end_page = int(raw_input('请输入帖子的终止页码>>'))
baidu_tieba(baiduurl, begin_page, end_page)
以上所述就是本文的全部内容了,希望能够对大家学习Python制作爬虫有所帮助。
您可能感兴趣的文章您可能感兴趣的文章:Python实现爬取百度贴吧帖子所有楼层图片的爬虫示例python爬虫教程之爬取百度贴吧并下载的示例基
于Python实现的百度贴吧网络爬虫实例零基础写python爬虫之抓取百度贴吧并存储到本地txt文件改进版零基础写python爬虫
之抓取百度贴吧代码分享Python3实现爬取指定百度贴吧页面并保存页面数据生成本地文档的方法Python爬取网页中的图片
(搜狗图片)详解简单实现Python爬取网络图片Python爬虫爬取一个网页上的图片地址实例代码利用Python爬取微博数据生
成词云图片实例代码Python实现的爬取百度贴吧图片功能完整示例
评论0