基于python的聚焦网络爬虫数据采集系统设计与实现

：人类社会已经进入大数据时代了，随着互联网的迅猛发展，种类繁多，数量庞大的数据随之产生，作为辅助人们检索 信息工具的搜索引擎也存在着一定的局限性，如：不同领域，背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的 结果包含大量用户不关心的网页。 为了解决这个问题，网络爬虫系统应运而生。众所周知，搜索引擎从互联网中靶向性筛选出有 用信息，而网络爬虫又是搜索引擎的基础构件之一。本文实现了一个基于 python 语言的聚焦网络爬虫，利用关键字匹配技术对目 标网站进行扫描，得到所需数据并抓取。