本文实例讲述了Python进阶之使用selenium爬取淘宝商品信息功能。分享给大家供大家参考,具体如下:
# encoding=utf-8
__author__ = 'Jonny'
__location__ = '西安'
__date__ = '2018-05-14'
'''
需要的基本开发库文件:
requests,pymongo,pyquery,selenium
开发流程:
搜索关键字:利用selenium驱动浏览器搜索关键字,得到查询后的商品列表
分析页码并翻页:得到商品页码数,模拟翻页,得到后续页面的商品列表
分析提取商品内容:利用PyQuery分析页面源代码,解析获得