基于fastapi的爬虫可视化调度系统源码+项目部署说明（高分项目）.zip

共183个文件

py：83个

vue：45个

ttf：13个

版权申诉

爬虫

人工智能

源码

188 浏览量 2023-11-03 16:23:18 上传评论 1 收藏 101.11MB ZIP 举报

资源推荐

资源详情

资源评论

收起资源包目录

基于fastapi的爬虫可视化调度系统源码+项目部署说明（高分项目）.zip （183个子文件）

index.css 289KB

main.css 2KB

color-green.css 673B

color-dark.css 421B

font.css 132B

icon.css 100B

.env.development 41B

.gitignore 2KB

demo.html 894B

index.html 624B

alembic.ini 2KB

微信图片_20210113164500.jpg 27KB

img.jpg 6KB

index.js 9KB

index.js 7KB

directives.js 3KB

request.js 3KB

main.js 2KB

i18n.js 1KB

vue.config.js 543B

global.js 123B

bus.js 87B

postcss.config.js 59B

babel.config.js 53B

package-lock.json 1015KB

package.json 1021B

script.py.mako 494B

README.md 5KB

README.md 2KB

wms3.png 112KB

wm2.png 105KB

wms1.png 96KB

wms4.png 79KB

logo.png 7KB

.env.production 41B

view.py 12KB

__init__.py 10KB

view.py 6KB

view.py 5KB

deployTask.py 5KB

production_config.py 5KB

development_config.py 5KB

auth.py 4KB

view.py 4KB

testHost.py 4KB

mongoCurd.py 3KB

views.py 3KB

main.py 3KB

responseCode.py 3KB

redisDB.py 3KB

view.py 3KB

excel_tool.py 3KB

fabricTool.py 3KB

views.py 3KB

monitorRedis.py 3KB

user.py 2KB

env.py 2KB

platname.py 2KB

security.py 2KB

getHostInfo.py 2KB

getAjaxData.py 2KB

session.py 2KB

proTask.py 2KB

mysqlDB.py 2KB

curd_base.py 2KB

save_log.py 2KB

deployServer.py 2KB

getRsa.py 2KB

deps.py 2KB

__init.py 2KB

redisCurd.py 1KB

get_status.py 1KB

word_tool.py 1KB

view.py 1KB

baseClass.py 1KB

sys_schedule.py 1KB

user.py 1KB

websocketDemo.py 1KB

role.py 1019B

hosts.py 986B

printOut.py 893B

runTask.py 891B

api.py 862B

user.py 822B

7df34c4a5044_create.py 655B

workLog.py 649B

customExc.py 556B

base.py 494B

todos.py 474B

logger.py 461B

initial_data.py 435B

role.py 407B

rateLimit.py 392B

__init__.py 391B

共 183 条

# Fastapi Crawl ![Fastapi Crawl](https://img.shields.io/badge/Python-3.8-green) ![Fastapi Crawl](https://img.shields.io/badge/Celery-5.0.5-blue) ![Fastapi Crawl](https://img.shields.io/badge/Fastapi-0.4.9-red) ![Fastapi Crawl](https://img.shields.io/badge/uvicorn-0.2.2-yellow) ![Fastapi Crawl](https://img.shields.io/badge/pydantic-0.2.2-brightgreen) ![Fastapi Crawl](https://img.shields.io/badge/fabric-0.1.13-yellow) ![Fastapi Crawl](https://img.shields.io/badge/Mysql-5.7-yellow) ![Fastapi Crawl](https://img.shields.io/badge/paramiko-0.0-yellow) - [x] 登录/注销 - [x] 远程批量部署和调用 - [x] `WebSocket` 任务日志 - [x] 新增节点、测试节点 - [ ] 展示节点已安装依赖服务/详细指标 - [ ] `Redis` 缓存 - [ ] 权限管理 - [ ] 站内消息推送 - [ ] `MQ`/`AQS`/`Celery` - [ ] `Docker`集成 - [x] ~~fabric 版本差异过大故放弃~~ `paramiko` - [ ] ~~ssh 密码登录~~ `ssh key` 免密登录 - [ ] `Scrapy` 集成 ## 依赖 ``` pip install pydantic[email] pip install uvicorn pip install fastapi ``` [comment]: <> (<details>) [comment]: <> (<summary>项目文件结构</summary>) [comment]: <> (```) [comment]: <> (/alembic // alembic 自动生成的迁移配置文件夹,迁移不正确时产看其中的env.py文件) [comment]: <> (alembic.ini // alembic 自动生成的迁移配置文件) [comment]: <> (app) [comment]: <> (|____core ) [comment]: <> (| |______init__.py) [comment]: <> (| |____config // 配置文件) [comment]: <> (| | |______init__.py // 根据虚拟环境导入不同配置) [comment]: <> (| | |____development_config.py // 开发配置) [comment]: <> (| | |____production_config.py // 生成配置) [comment]: <> (| |____security.py // token password验证 ) [comment]: <> (|____tests) [comment]: <> (| |______init__.py) [comment]: <> (|______init__.py) [comment]: <> (|____api // API文件夹) [comment]: <> (| |____api_v1 // 版本区分) [comment]: <> (| | |____auth // auth模块) [comment]: <> (| | | |______init__.py) [comment]: <> (| | | |____schemas // 验证model文件夹) [comment]: <> (| | | | |____user.py // user验证) [comment]: <> (| | | | |______init__.py) [comment]: <> (| | | |____curd // curd 文件夹) [comment]: <> (| | | | |____user.py // user curd操作) [comment]: <> (| | | | |______init__.py) [comment]: <> (| | | |____views.py // 各模块视图函数) [comment]: <> (| | |______init__.py) [comment]: <> (| | |____api.py // 路由函数) [comment]: <> (| |______init__.py) [comment]: <> (| |____utils // 工具类文件夹) [comment]: <> (| | |____custom_exc.py // 自定义异常) [comment]: <> (| | |____response_code.py // 统一自定义响应状态) [comment]: <> (| |____models // 项目models 文件(我没像django那样放到各模块下面,单独抽出来了)) [comment]: <> (| | |______init__.py) [comment]: <> (| | |____auth.py // 用户权限相关的) [comment]: <> (| | |____goods.py // 商品相关) [comment]: <> (| | |____shop.py // 店铺相关) [comment]: <> (| |____extensions // 扩展文件夹) [comment]: <> (| | |______init__.py) [comment]: <> (| | |____logger.py // 扩展日志 loguru 简单配置) [comment]: <> (| |____common // 通用文件夹) [comment]: <> (| | |______init__.py) [comment]: <> (| | |____deps.py // 通用依赖文件,如数据库操作对象,权限验证对象) [comment]: <> (| | |____curd_base.py // curd_base对象) [comment]: <> (| | |____model_base.py // model继承base对象(报错暂时不用)) [comment]: <> (| |____logs) [comment]: <> (| |____db // 数据库) [comment]: <> (| | |______init__.py) [comment]: <> (| | |____base_class.py ) [comment]: <> (| | |____session.py // ) [comment]: <> (| | |____base.py // 导出全部models 给alembic迁移用) [comment]: <> (| | |____init_db.py // 初始化数据) [comment]: <> (|____utils.py) [comment]: <> (|____main.py) [comment]: <> (|____initial_data.py) [comment]: <> (```) [comment]: <> (</details>) ## alembic 生成表 ### 自动生成迁移文件 ```shell alembic revision --autogenerate -m "init commit" ``` ### 生成表 > alembic upgrade head ### 生成初始化账号密码 ```shell cd app python initial_data.py ``` ```shell username: admin@163.com password: 123456 ``` ## PR > 我当然希望你能够有更好的想法或贡献。

评论收藏

内容反馈

版权申诉