#!/usr/bin/env python
# -*- coding: utf-8 -*-
__author__='WYY'
__date__='2017.03.13'
#实战小项目：糗事百科—我的第一个小爬虫
import re
import requests
import time
import codecs
#定义一个Tool类，方便用replace方法把换行符等删除
class Tool():
def replace(self,x):
x=re.sub(re.compile('<br>|</br>|/>|<br'),"",x)
return x.strip()
#定义一个Spider类
class Spider(object):
#初始化参数
def __init__(self):
self.siteURL='http://www.qiushibaike.com/'
self.tool=Tool()
#获取网页源码
def getSource(self,url):
user_agent='Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
headers={'User_agent': user_agent}
r=requests.get(url,headers=headers)
r.encoding='utf-8'
result=r.text
return result
#获取详情页信息，并循环打印输出
def getDetailPage(self,detailURL):
source=self.getSource(detailURL)
pattern=re.compile('<div class="author.*?<h2>(.*?)</h2>.*?Icon">(.*?)</div>.*?<div class="content">.*?<span>(.*?)</span>.*?<span.*?stats-vote.*?number">(.*?)</i>.*?stats-comments.*?number">(.*?)</i>.*?up.*?number hidden">(.*?)</span>.*?down.*?number hidden">(.*?)</span>',re.S)
items=re.findall(pattern,source)
number=1
for item in items:
print u''
print number,u'楼',u'\n楼主：',item[0],u'',item[1],u'岁',u'\n发言:',self.tool.replace(item[2]),u'\n好笑：',item[3],u'\n评论：',item[4],u'\n赞：',item[5],u'\n踩：',item[6]
time.sleep(0.1)
number+=1
return items
#保存信息写入文件
def saveDetailPage(self,data,name):
fileName='page'+name+'.'+'txt'
f=codecs.open(fileName,'wb')
f.write(data)
print u'',u'成功将数据保存入文件',fileName
f.close()
#对一页的操作
def OnePage(self,detailURL,name):
data=self.getDetailPage(detailURL)
self.saveDetailPage(str(data),str(name))
#对很多页的操作
#分两种情况讨论，start页等于1\start页大于1
def getAllPage(self,start,end):
if start==1:
print u'正在获取第1页的数据...'
detailURL=self.siteURL
self.OnePage(detailURL,start)
number=2
for page in range(2, end+1):
print u'正在获取第', number, u'页的数据...'
detailURL = self.siteURL + '8hr/page/' + str(page) + '/?s=4964625'
self.OnePage(detailURL,number)
time.sleep(2)
number +=1
if number==end+1:
print u'',u'\n加载结束！'
return False
elif start>1:
number=start
for page in range(start,end+1):
print u'',u'\n正在获取第',number,u'页的数据...'
detailURL=self.siteURL + '8hr/page/' +str(page)+ '/?s=4964625'
self.OnePage(detailURL,number)
time.sleep(2)
number += 1
if number==end+1:
print u'',u'加载结束！'
return False
spider=Spider()
spider.getAllPage(start=int(raw_input(u'请输入起始页数：')),end=int(raw_input(u'请输入结束页数：')))
