scrapy中如何设置应用cookies的方法(3种)_scrapy使用cookie资源-CSDN文库

34 浏览量 2020-12-16 22:37:54 上传评论收藏 41KB PDF 举报

资源详情

资源评论

资源推荐

scrapy中如何设置应用中如何设置应用cookies的方法的方法(3种种)

本人是python3.6

总的来说，scrapy框架中设置cookie有三种方式。

第一种：第一种：setting文件中设置文件中设置cookie

当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie

当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie

当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉，使用自定义cookie

所以当我使用settings的cookie的时候，又把COOKIES_ENABLED设置为True，scrapy就会把settings的cookie关闭，

而且我也没使用自定义cookie，导致整个请求根本没有cookie,导致获取页面失败。

总结：

如果使用自定义cookie就把COOKIES_ENABLED设置为True

如果使用settings的cookie就把COOKIES_ENABLED设置为False

第二种：第二种：middlewares中设置中设置cookie

在middlewares中的downloadermiddleware中的process_request中配置cookie，配置如下：

request.cookies={

'':'',

'':'',

}

等等。里面的cookie内容要以键值对的形式存在。

第三种：在第三种：在spider爬虫主文件中，重写爬虫主文件中，重写start_request方法，在方法，在scrapy的的Request函数的参数中传递函数的参数中传递cookies

# 重载start_requests方法

def start_requests(self):

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0"}

# 指定cookies

cookies = {

'uuid': '66a0f5e7546b4e068497.1542881406.1.0.0',

'_lxsdk_cuid': '1673ae5bfd3c8-0ab24c91d32ccc8-143d7240-144000-1673ae5bfd4c8',

'__mta': '222746148.1542881402495.1542881402495.1542881402495.1',

'ci': '20',

'rvct': '20%2C92%2C282%2C281%2C1',

'_lx_utm': 'utm_source%3DBaidu%26utm_medium%3Dorganic',

'_lxsdk_s': '1674f401e2a-d02-c7d-438%7C%7C35'}

# 再次请求到详情页，并且声明回调函数callback，dont_filter=True 不进行域名过滤，meta给回调函数传递数据

yield Request(detailUrl, headers=headers, cookies=cookies, callback=self.detail_parse, meta={'myItem': item},

dont_filter=True)

同时还要在setting中设置：

ROBOTSTXT_OBEY=False

您可能感兴趣的文章您可能感兴趣的文章:scrapy框架携带cookie访问淘宝购物车功能的实现代码

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

评论0

内容反馈

weixin_38707826

粉丝: 5
资源: 907

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip