python网页文本爬虫

网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。各大搜索引擎都用爬虫缓存各种url，提供搜索服务。高级爬虫技术难度是很高的，要考虑很多，比如连接优化，代理服务器，大数据量下爬取优化，站点爬取规则设计，但是基础爬虫重点只是实现信息抓取保存和处理，爬取规则通常很简单。 以小说网站爬取为例，首先需要掌握python基础，比如urllib使用，python进行字符串操作，复杂一点使用正则表达式。还有就是基本的程序逻辑。具备这三点就能开始爬小说。