基于java实现网络爬虫(蜘蛛)源码

java爬虫 爬虫实现原理 网络爬虫基本技术处理 网络爬虫是数据采集的一种方法，实际项目开发中，通过爬虫做数据采集一般只有以下几种情况： 1） 搜索引擎 2） 竞品调研 3） 舆情监控 4） 市场分析 网络爬虫的整体执行流程： 1） 确定一个（多个）种子网页 2） 进行数据的内容提取 3） 将网页中的关联网页连接提取出来 4） 将尚未爬取的关联网页内容放到一个队列中 5） 从队列中取出一个待爬取的页面，判断之前是否爬过。 6） 把没有爬过的进行爬取，并进行之前的重复操作。 7） 直到队列中没有新的内容，爬虫执行结束。 这样完成爬虫时，会有一些概念必须知道的： 1） 深度（depth）：一般来说，表示从种子页到当前页的打开连接数，一般建议不要超过5层。 2） 广度（宽度）优先和深度优先：表示爬取时的优先级。建议使用广度优先，按深度的层级来顺序爬取。 下面先实现一个单网页数据提取的功能。 使用的技术可以有以下几类： 1） 原生代码实现： 　　a) URL类 2） 使用第三方的URL库 　　a) HttpClient库 3） 开源爬虫框架 　　a) Heritri 更多请下载查看