百度地图开发java源码-WebSpider:第一个蜘蛛项目，使用webmagic

百度地图开发java源码 WebSpider first spider project,using webmagic blog： 一次JAVA爬虫之旅 前言        好早就想做一下爬虫，最近终于完成了。爬了知乎用户信息，现在知乎确实正规了好多，各种反爬虫机制，遇到了不少坑，还好都克服了，现在来记录下这个过程，和把结果展示一下。 准备知识        我们每天都在浏览网页，如果对其中的某些信息特别感兴趣，我们会选择将其保存下来，但当数据数量很多的时候，我们就会选择用程序来实现这样一个过程，实现自动浏览网页，自动根据我们的要求，保存我们想要的数据。于是，爬虫就应运而生了。所以，简单来说，爬虫就是实现网页自动浏览，数据自动保存，根据我们的需要进行自动化浏览器的操作或者自动化测试的这样一种程序。 HTTP协议        计算机网络中必学的协议，我们之前已经模拟过web服务器和浏览器，这也需要http基础，理解http协议，然后根据不同的语言去用不同的工具包，模拟http请求，得到响应页面。其中我们要注意的是，要模拟登陆，就要用到cookies等。下图就是一个http响应信息： 前端