Python爬虫爬取网页信息

# -*- coding:utf-8 -*- import url_manager #导入URL管理器 import html_download #导入下载器 import html_parser #导入解析器 import html_outputer #导入输出器 class SpiderMain(object): def __init__(self): #构造函数初始化 self.urls=url_manager.UrlManage() self.downloader=html_download.Downloader() self.parser=html_parser.Parser() self.outputer=html_outputer.Outputer() def crawl(self,root_url): count=1 self.urls.add_new_url(root_url) #添加根url while self.urls.has_new_url(): #判断URL管理器中是否还存在URL（理论上是肯定存在的，因为每一次打开一个网页都会将其所有超链接存进URL管理器） try: #会出现不存在URL的情况 new_url=self.urls.get_new_url() #提取url print ('crawl %d : %s'%(count,new_url)) #打印URL内容并计数 html_content=self.downloader.download(new_url) #下载URL的内容 urls,data=self.parser.parse(new_url,html_content) #解析URL的内容，得到该URL网页下的所有URL及该URL的标题与总结 self.urls.add_new_urls(urls) #将上一步得到的所有URL添加进URL容器，方便循环调用 self.outputer.collect_data(data) #收集数据，为下一步导出到HTML文件中做准备 if count==1000: #爬取1000个URL break count+=1 except: print ("crawl failed") self.outputer.output() #输出器，将爬取到的内容输出到html文件中 if __name__=="__main__": #主函数 root_url="http://baike.baidu.com/view/21087.htm" #根url obj_spider=SpiderMain() obj_spider.crawl(root_url) #执行crawl函数