大数据爬虫技术第10章 初识爬虫框架Scrapy.ppt

我们简单介绍一下各个主要文件的作用： scrapy.cfg --配置文件，用于存储项目的配置信息。 mySpider/ --项目的Python模块，将会从这里引用代码。 mySpider/items.py --实体文件，用于定义项目的目标实体。 mySpider/middlewares.py --中间件文件，用于定义Spider中间件。 mySpider/pipelines.py --管道文件，用于定义项目使用的管道。 mySpider/settings.py --设置文件，用于存储项目的设置信息。 mySpider/spiders/ --存储爬虫代码的目录。 第二步就是明确爬虫项目要抓取的内容。以培训公司的讲师为示例，该页面的内容如下图所示。 抓取内容就是页面中所有讲师的姓名、级别和个人信息等数据。 Scrapy提供了基类scrapy.Item用来表示实体数据。我们一般需要创建一个继承自scrapy.Item的子类，并为该子类添加scrapy.Field类的属性来表示实体数据。 import scrapy class MyspiderItem(scrapy.Item): name =