环境:
ubuntu16.04
python3.5
python库: selenium, pyquery,pymongo, re
要求:
设置×××面浏览器访问,并将商品列表存入mongoDB数据库.
分析过程暂时略过
代码:
#!/usr/bin/env python
# -*- coding:utf-8 -*-
"""
1.爬取淘宝美食的流程
- 搜索关键字: 用selenium打开浏览器,模拟输入关键字,并搜索对应的商品列表.
- 分析页码并翻页,模拟翻页,查看到所有页面的商品列表.
- 分析并提取商品,利用Pyquery分析源码,解析得到商品列表.
- 存储到MONGODB数据库