多个网站数据采集实现_Spiders.zip资源-CSDN文库

共181个文件

py：149个

txt：7个

md：7个

版权申诉

201 浏览量 2024-09-16 00:39:27 上传评论收藏 6.98MB ZIP 举报

资源推荐

资源详情

资源评论

收起资源包目录

多个网站数据采集实现_Spiders.zip （181个子文件）

scrapy.cfg 265B

scrapy.cfg 259B

command 176B

comments.csv 1.3MB

Dockerfile 257B

chromedriver.exe 9.17MB

.gitignore 2KB

introduct 4KB

fanyi.min.js 476KB

LICENSE 11KB

bilibili.md 1KB

docker-bilibili.md 955B

README.md 949B

videoapp.md 897B

jsparse.md 601B

scripts.md 545B

README.md 67B

kuaishou.proto 5KB

__init__.py 367KB

kuaishou_pb2.py 66KB

url_file.py 61KB

tbdSpider.py 48KB

kol.py 45KB

qqtv.py 21KB

mgtv.py 14KB

monitor.py 14KB

config.py 14KB

iqiyi.py 12KB

get_baidu_index_example.py 12KB

baidu.py 12KB

url_file.py 11KB

js_xingTu.py 9KB

xd.py 9KB

config.py 9KB

aboutLaunch.py 7KB

middlewares.py 7KB

xinmeibao.py 7KB

baiduIndex.py 7KB

aiohttp_websocket.py 6KB

auto_xinGTu.py 6KB

kuaishou.py 6KB

kolVideo.py 5KB

douYuLiveStream.py 4KB

digitalIngClass.py 4KB

kolUser.py 4KB

ipCheck.py 4KB

middlewares.py 4KB

meijiexia.py 4KB

__init__.py 4KB

settings.py 4KB

weiboVipInfo.py 4KB

user.py 4KB

youku.py 4KB

user.py 4KB

getResponse.py 4KB

middlewares.py 4KB

settings.py 3KB

items.py 3KB

settings.py 3KB

js_youDao.py 3KB

user_info.py 3KB

huYaLiveStream.py 3KB

crawl_bili.py 3KB

getYyInfo.py 3KB

bili_relation.py 3KB

laiteb_websocket_client.py 3KB

dbMongo.py 3KB

db.py 3KB

deal_mongo.py 3KB

bos_filter.py 3KB

main.py 2KB

comment.py 2KB

kol_init.py 2KB

__init__.py 2KB

biliNav.py 2KB

bili_redis.py 2KB

redis_init.py 2KB

dela_redis_to_big.py 2KB

bos_filter.py 2KB

bili_nav.py 2KB

relationship.py 2KB

relation.py 1KB

dbmongo.py 1KB

distributedGetTitle.py 1KB

pipelines.py 1KB

aiowebsocket_run.py 1KB

init_ks_kol.py 1KB

laiteb_aiowebsocket.py 1KB

dbredis.py 1KB

共 181 条

# Spiders ReadMe - videoapp - [videoapp项目说明](./.github/videoapp.md) - bilibili - [bilibili项目说明](./.github/bilibili.md) - docker_bilibili - [docker_bilibili项目说明](./.github/docker-bilibili.md) - scripts - [scripts文件说明](./.github/scripts.md) - jsparse - [jsparse文件说明](./.github/jsparse.md) ### 同时执行所有 spider 的实现 ``` 1.新建命令文件夹commands,目录下新建crawlall.py 2.需在settings里配置 COMMANDS_MODULE = 'project.commands' 3.命令行中执行启动所有spider：scrapy crawlall 原理: 通过加载用户初始化的 crawler_process.spiders 获取列表下的所有spider的name,然后遍历list 分别crawl ``` ### scrapy 命令行实现断点续爬 ``` 断点续爬 scrapy crawl spider_name -s JOBDIR=crawls/spider_name 详细见开发者文档： https://doc.scrapy.org/en/latest/topics/jobs.html?highlight=jobdir ```

评论收藏

内容反馈

版权申诉