# scrapy-redis-mysql-mongodb
python爬虫框架scrapy异步多进程爬取百万小说同时入mongodb和mysql数据库
# 打印 不输出日志
scrapy crawl dmoz_spider -s LOG_FILE=all.log
# 该命令将采用 JSON 格式对爬取的数据进行序列化，生成 items.json 文件。
scrapy crawl dmoz_spider -o items.json
python爬虫框架scrapy异步多进程爬取百万小说同时入mongodb和mysql数据库.zip
需积分: 0 115 浏览量
2023-12-23
17:54:10
上传
评论
收藏 20KB ZIP 举报
python爬虫框架scrapy异步多进程爬取百万小说同时入mongodb和mysql数据库.zip （22个子文件） 
ergsdfgsdgsdgsdfgdsfdfghfhfdgh42354353esdfsdfgsdfgdfg tutorial 
__init__.py 0B pipelines.py 2KB main.py 99B spiders __init__.py 161B dmoz_spider.py.bak 4KB __pycache__ __init__.cpython-36.pyc 155B dmoz_spider.cpython-36.pyc 3KB dmoz_spider.py 5KB items.py 1KB all.log 444B settings.py 3KB __pycache__ pipelines.cpython-36.pyc 2KB settings.cpython-36.pyc 644B middlewares.cpython-36.pyc 6KB __init__.cpython-36.pyc 147B items.cpython-36.pyc 1KB middlewares.py 7KB scrapy.cfg 259B proxied.py 3KB README.md 330B items.json 0B
proxies.txt 53B资源评论
