没有合适的资源?快使用搜索试试~ 我知道了~
qq-sohu-ifeng-news-crawler:抓取腾讯新闻,搜狐新闻和凤凰网新闻
共15个文件
py:7个
pyc:6个
gitignore:1个
需积分: 0 0 下载量 100 浏览量
2021-05-14
04:20:15
上传
评论
收藏 24KB ZIP 举报
温馨提示
##简介 抓取腾讯新闻,搜狐新闻和凤凰网的历史新闻 使用mongodb存储 ##部署说明 1、使用了3个第三方库 pip install requests pip install pyquery ///这个如果安装失败,可能需要apt-get install libxml2-dev libxslt1-dev python-dev pip install mongoengine ///如果连接数据库失败,可能是兼容性问题,可以卸载 pip uninstall pymongo 后安装指定版本 pip install pymongo==2.8 2、抓取日期配置在各个源文件中的__init__写有默认值。其中qq和sohu的在网页可以看到最早的日期,凤凰网可以获取到很早的列表,但是基本都是404页面 3、运行可以通过 python start.py qq / python start.py soh
资源推荐
资源详情
资源评论
收起资源包目录
qq-sohu-ifeng-news-crawler-master.zip (15个子文件)
qq-sohu-ifeng-news-crawler-master
worker.pyc 3KB
README.MD 1KB
qq.pyc 8KB
article.pyc 1KB
logger.py 750B
sohu.pyc 6KB
ifeng.pyc 6KB
start.py 1KB
qq.py 11KB
article.py 1KB
logger.pyc 1KB
.gitignore 12B
ifeng.py 6KB
sohu.py 6KB
worker.py 3KB
共 15 条
- 1
资源评论
唐荣轩
- 粉丝: 31
- 资源: 4626
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功