Python实现网络爬虫、蜘蛛.pdf
版权申诉
133 浏览量
2022-10-17
14:46:00
上传
评论
收藏 390KB PDF 举报
python 中如何提取网页正文啊 谢谢
import
url=""
response=urllib.request.urlopen(url)
page=response.read()
python 提取网页中的文本
urllib.request
1. import os,sys,datetime
2. import httplib,urllib, re
3. from sgmllib import SGMLParser
4.
5. import types
6.
7. class Html2txt(SGMLParser):
8. def reset(self):
9. self.text = ''
10. self.inbody = True
11. SGMLParser.reset(self)
12. def handle_data(self,text):
13. if self.inbody:
14. self.text += text
15.
16. def start_head(self,text):
17. self.inbody = False
18. def end_head(self):
19. self.inbody = True
20.
21.
22.if __name__ == "__main__":
23. parser = Html2txt()
24. parser.feed(urllib.urlopen("").read())
25. parser.close()
26. print parser.text.strip()
python 下载网页
import httplib
conn=httplib.HTTPConnection("")
conn.request("GET","/index.html")
r1=conn.getresponse()
print r1.status,r1.reason
data=r1.read()
print data
conn.close
用 python 下载网页，超级简单！
from
webdata
print webdata
深入 python 里面有
urllib
=
import urlopen
urlopen("").read()
资源评论
