scrapy.Spider类中提供了如下一些主要的属性。 主要属性 说明 name 定义爬虫名称的字符串。通常，我们使用待爬取网站的域名作为爬虫名称 allowed_domains 包含了爬虫允许爬取的域名列表 start_urls 表示初始URL元组或列表 scrapy.Spider类中提供了如下一些主要的方法。 方法名称 具体说明 __init__() 初始化方法，负责初始化爬虫名称和start_urls列表 start_requests() 负责生成Requests对象，交给Scrapy下载并返回response parse(response) 负责解析response，并返回Item或Requests（需指定回调函数） log(message) 负责发送日志信息 01 Scrapy shell—测试XPath表达式 02 Spiders—抓取和提取结构化数据 03 Item Pipeline—后期处理数据 04 Downloader Middlewares—防止反爬虫 05 Settings—定制Scrapy组件 当Item在Spiders中被收集之后，会被传递到Item Pi
VIP享7折，此内容立减4.47元 
