python爬虫1688一件代发电商工具(二)-抓取商品详情页价格库存运费信息(selenium)
根据商品id指定需要抓取的商品范围,抓取指定商品详情页价格、库存、运费信息,存入数据库作数据分析和参考 使用步骤: 1.搭建python环境,配置好环境变量 2.配置数据库环境,根据本地数据库连接修改alibaba.py中的数据库初始化参数 3.下载自己浏览器版本的浏览器驱动(webdriver),并将解压后的驱动放在python根目录下 4.执行database/DDL中的脚本进行数据库建表 5.将alibaba.py中itemids参数替换成自己需要抓取的商品id,找商品id的方法可参考url参数的规则 6.运行alibaba.py,开始需要手动滑动验证条验证,控制台和数据库观察结果 报错提示: 1.如果浏览器窗口能打开但没有访问url,报错退出,检查浏览器驱动的版本是否正确 2.代码中有红色波浪线,检查依赖包是否都安装完 3.程序运行中途报错,可能是出现滑动验证条导致页面捕捉不到元素,中途手动完成验证即可