• 使用Scrapy框架,辅加以Selenium库,解决JavaScript动态加载问题,爬取京东网站商品信息

    使用Scrapy框架,爬取京东网站商品信息,为了解决JavaScript动态加载问题,通过辅加以Selenium库的方式,使用WebDriver函数,创建虚拟浏览器,模拟真实用户的操作情况,通过滚动、点击按钮等操作模仿用户行为并获得更多信息。主要避免下载Docker板块,且更好、更加便捷的获取信息。代码主要通过登录京东网页,获取“时尚达人”,“智能先锋”和“进口好物”等商品信息,并将数据保存为CSV、Excel和JSON等多种格式,只需要稍微修改文件保存路径即可使用,简单便捷。

    0
    30
    12KB
    2023-11-25
    0
上传资源赚积分or赚钱