Python抓取页面、Pthon爬虫参考资料
5星 · 超过95%的资源 需积分: 49 80 浏览量
2010-11-29
16:44:20
上传
评论 1
收藏 643KB DOC 举报 
中如何提取网页正文啊谢谢
提取网页中的文本
1. import os,sys,datetime
2. import httplib,urllib, re
3. from sgmllib import SGMLParser
4.
5. import types
6.
7. class Html2txt(SGMLParser):
8. def reset(self):
9. self.text = ''
10. self.inbody = True
11. SGMLParser.reset(self)
12. def handle_data(self,text):
13. if self.inbody:
14. self.text += text
15.
16. def start_head(self,text):
17. self.inbody = False
18. def end_head(self):
19. self.inbody = True
20.
21.
22. if __name__ == "__main__":
23. parser = Html2txt()
24.
parser.feed(urllib.urlopen("http://icode.csdn.net").read())
25. parser.close()
26. print parser.text.strip()
python 下载网页
import httplib
conn=httplib.HTTPConnection("www.baidu.com")
conn.request("GET","/index.html")
r1=conn.getresponse()
print r1.status,r1.reason
剩余63页未读，继续阅读
whowhenwhere
- 粉丝: 3
- 资源: 19
最新资源
- 论文(最终)_20240430235101.pdf
- 基于python编写的Keras深度学习框架开发，利用卷积神经网络CNN,快速识别图片并进行分类
- 最全空间计量实证方法（空间杜宾模型和检验以及结果解释文档）.txt
- 5uonly.apk
- 蓝桥杯Python组的历年真题
- 2023-04-06-项目笔记 - 第一百十九阶段 - 4.4.2.117全局变量的作用域-117 -2024.04.30
- 2023-04-06-项目笔记 - 第一百十九阶段 - 4.4.2.117全局变量的作用域-117 -2024.04.30
- 前端开发技术实验报告：内含4四实验&实验报告
- Highlight Plus v20.0.1
- 林周瑜-论文.docx
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论15