如何爬取网站数据.doc

网站数据爬取指南 在信息爆炸的时代，互联网数据就像无底洞一样，有多少都可以装下去，并且这些网站数据大多是开放的。所有人均可通过网络来爬取这些网站数据，网页上能看到的数据，99%都是可以抓取的，所见即所得。今天我们使用八爪鱼采集器来演示如何爬取网站数据。 爬取网站数据的步骤 ### 步骤 1：创建采集任务 在八爪鱼采集器中，选择“自定义模式”，输入网址，例如 https://www.toutiao.com/ch/news_hot/，然后点击“保存网址”。保存网址后，页面将在八爪鱼采集器中打开，红色方框中的信息是这次演示要采集的内容。 ### 步骤 2：设置 Ajax 页面加载时间 在八爪鱼采集器中，设置打开网页步骤的 Ajax 滚动加载时间，找到翻页按钮，设置翻页循环，设置翻页步骤 Ajax 下拉加载时间。在右侧的高级选项框中，勾选“页面加载完成向下滚动”，设置滚动次数，每次滚动间隔时间，一般设置 2 秒，这个页面的滚动方式，选择直接滚动到底部；最后点击确定。 ### 步骤 3：采集新闻内容 创建数据提取列表，移动鼠标选中评论列表的方框，右键点击，方框底色会变成绿色，然后点击“选中子元素”。然后点击“选中全部”，将页面中需要需要采集的信息添加到列表中。注意：在提示框中的字段上会出现一个“X”标识，点击即可删除该字段。点击“采集以下数据”。 ### 步骤 4：数据采集及导出 根据采集的情况选择合适的采集方式，这里选择“启动本地采集”。采集完成后，选择合适的导出方式，将采集好的数据导出。注意：本地采集占用当前电脑资源进行采集，如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能，云采集在网络中进行采集，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10 个节点相当于 10 台电脑分配任务帮你采集，速度降低为原来的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导出操作。 其他相关教程 * 网站文章采集：http://www.bazhuayu.com/tutorial/hottutorial/qita * 网站文章采集教程：http://www.bazhuayu.com/tutorial/hottutorial/qita/wenzhang * 网站图片采集：http://www.bazhuayu.com/tutorial/hottutorial/qita/tupian * 网站源码抓取：http://www.bazhuayu.com/tutorial/hottutorial/qita/qitaleixing * 网站数据采集实战视频教程：http://www.bazhuayu.com/tutorial/videotutorial/videoszcz * 八爪鱼网站抓取入门功能介绍：http://www.bazhuayu.com/tutorial/xsksrm/rmgnjs * 八爪鱼采集原理以及实现功能：http://www.bazhuayu.com/tutorial/bzyyl-708 * 八爪鱼采集 URL 循环使用教程（7.0 版本），以豆瓣电影为例：http://www.bazhuayu.com/tutorial/urlxh_79 * 网站 AJAX 点击和翻页采集教程：http://www.bazhuayu.com/tutorial/ajaxdjfy_7 八爪鱼是一个功能强大，任何网站都可以采集的网页数据采集器。操作简单，任何人都可以用，无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2 分钟即可快速入门。