python爬虫框架scrapy实战之爬取京东商城进阶篇_pythonscrapy爬取京东,pythonscrapy爬取京东资源-CSDN文库

5星 · 超过95%的资源 29 浏览量 2020-09-21 08:52:54 上传评论 4 收藏 71KB PDF 举报

资源推荐

资源详情

资源评论

python爬虫框架爬虫框架scrapy实战之爬取京东商城进阶篇实战之爬取京东商城进阶篇

主要给大家介绍了利用python爬虫框架scrapy爬取京东商城的相关资料，文中给出了详细的代码介绍供大家参考学习，并在文末给出了完整的代码，需要的朋友们可以参考学习，

下面来一起看看吧。

前言前言

之前的一篇文章已经讲过怎样获取链接，怎样获得参数了，详情请看python爬取京东商城普通篇，本文将详细介绍利用python爬虫框架scrapy如何爬取京东商城，下面话不多说了，来看看详细的介绍

吧。

代码详解代码详解

1、首先应该构造请求，这里使用scrapy.Request,这个方法默认调用的是start_urls构造请求，如果要改变默认的请求，那么必须重载该方法，这个方法的返回值必须是一个可迭代的对象，一般是用yield

返回。

代码如下：代码如下：

def start_requests(self):

for i in range(1,101):

page=i*2-1 #这里是构造请求url的page,表示奇数

url=self.start_url+str(page)

yield scrapy.Request(url,meta={'search_page':page+1},callback=self.parse_url) #这里使用meta想回调函数传入数据，回调函数使用response.meta['search-page']接受数据

下面就是解析网页了，从上面看出这里的解析回调函数是parse_url,因此在此函数中解析网页。这里还是和上面说的一样，这个url得到的仅仅是前一半的信息，如果想要得到后一半的信息还有再次请求，

这里还有注意的就是一个技巧：一般先解析出一个数据的数组，不急着取出第一个数，先要用if语句判断，因为如果得到的是[]，那么直接取出[0]是会报错的，这只是一个避免报错的方法吧。

代码如下代码如下:

def parse_url(self,response):

if response.status==200: #判断是否请求成功

# print response.url

pids = set() #这个集合用于过滤和保存得到的id,用于作为后面的ajax请求的url构成

try:

all_goods = response.xpath("//div[@id='J_goodsList']/ul/li") #首先得到所有衣服的整个框架，然后从中抽取每一个框架

for goods in all_goods: #从中解析每一个

# scrapy.shell.inspect_response(response,self) #这是一个调试的方法，这里会直接打开调试模式

items = JdSpiderItem() #定义要抓取的数据

img_url_src = goods.xpath("div/div[1]/a/img/@src").extract() # 如果不存在就是一个空数组[]，因此不能在这里取[0]

img_url_delay = goods.xpath(

"div/div[1]/a/img/@data-lazy-img").extract() # 这个是没有加载出来的图片，这里不能写上数组取第一个[0]

price = goods.xpath("div/div[3]/strong/i/text()").extract() #价格

cloths_name = goods.xpath("div/div[4]/a/em/text()").extract()

shop_id = goods.xpath("div/div[7]/@ data-shopid").extract()

cloths_url = goods.xpath("div/div[1]/a/@href").extract()

person_number = goods.xpath("div/div[5]/strong/a/text()").extract()

pid = goods.xpath("@data-pid").extract()

# product_id=goods.xpath("@data-sku").extract()

if pid:

pids.add(pid[0])

if img_url_src: # 如果img_url_src存在

print img_url_src[0]

items['img_url'] = img_url_src[0]

if img_url_delay: # 如果到了没有加载完成的图片，就取这个url

print img_url_delay[0]

items['img_url'] = img_url_delay[0] # 这里如果数组不是空的，就能写了

if price:

items['price'] = price[0]

if cloths_name:

items['cloths_name'] = cloths_name[0]

if shop_id:

items['shop_id'] = shop_id[0]

shop_url = "https://mall.jd.com/index-" + str(shop_id[0]) + ".html"

items['shop_url'] = shop_url

if cloths_url:

items['cloths_url'] = cloths_url[0]

if person_number:

items['person_number'] = person_number[0]

# if product_id:

# print "************************************csdjkvjfskvnk***********************"

# print self.comments_url.format(str(product_id[0]),str(self.count))

# yield scrapy.Request(url=self.comments_url.format(str(product_id[0]),str(self.count)),callback=self.comments)

#yield scrapy.Request写在这里就是每解析一个键裤子就会调用回调函数一次

yield items

except Exception:

print "********************************************ERROR**********************************************************************"

yield scrapy.Request(url=self.search_url.format(str(response.meta['search_page']),",".join(pids)),callback=self.next_half_parse) #再次请求，这里是请求ajax加载的数据，必须放在这里，因为只有等到得到所有的pid才能构成这个请求，回调函数用于下面的解析