没有合适的资源?快使用搜索试试~ 我知道了~
amazon-project:通用 Amazon.com 搜索和抓取系统
共51个文件
py:43个
html:2个
sh:1个
需积分: 10 4 下载量 163 浏览量
2021-06-30
21:58:07
上传
评论
收藏 5.56MB ZIP 举报
温馨提示
亚马逊产品抓取工具 注意:请阅读以获取图像,以及有关如何导航项目的更深入的分步说明。 这样做的目的是对 amazon.com 的所有产品库运行查询。 它提供了下拉框的管理界面。 这些盒子的标题/价值集是从 amazon.com 上抓取的。 提交查询后,将部署多个网络爬虫来收集查询参数的产品信息。 然后将产品保存在 SQLite3 数据库中以供进一步研究使用。 环境 - Python 网络框架 - 轻量级关系数据库 - Python 网页抓取框架 - 用于清理 DOM 的 Python 网页抓取模块 - 用于查询亚马逊产品 API 的基本 Python API - 用于查询亚马逊产品 API 的 Python API - 高效的 Django 树结构 设置 通过运行python -V确保你有 Python 2.7.6 通过运行sqlite3 --version确保
资源推荐
资源详情
资源评论
收起资源包目录
amazon-project-master.zip (51个子文件)
amazon-project-master
query_titles
models.py 182B
templates
list.html 771B
management
commands
test_submit_feed.py 4KB
__init__.py 0B
test_feed_submission_result.py 755B
__init__.py 0B
__init__.py 0B
views.py 7KB
admin.py 204B
tests.py 60B
urls.py 198B
amazon_scraper
scrapy.cfg 271B
amazon_scraper
pipelines.py 293B
extensions
custom.py 920B
clear_connection.sh 35B
__init__.py 0B
spiders
amazon_scraper.py 5KB
__init__.py 161B
items.py 292B
__init__.py 0B
settings.py 948B
__init__.py 0B
index.html 586B
db.sqlite3 66.7MB
products
models.py 768B
__init__.py 0B
views.py 0B
admin.py 268B
tests.py 60B
requirements.txt 140B
manage.py 467B
.gitignore 42B
categories
models.py 272B
__init__.py 0B
views.py 63B
admin.py 279B
tests.py 60B
amazon_api
wsgi.py 395B
__init__.py 0B
settings.py 3KB
urls.py 282B
README.md 4KB
query_values
models.py 281B
__init__.py 0B
views.py 63B
admin.py 192B
tests.py 60B
scripts
get_query_tables.py 3KB
__init__.py 0B
get_categories.py 2KB
webstore.py 3KB
共 51 条
- 1
资源评论
唐荣轩
- 粉丝: 31
- 资源: 4626
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功