# Fastapi Crawl
- [x] 登录/注销
- [x] 远程批量部署和调用
- [x] `WebSocket` 任务日志
- [x] 新增节点、测试节点
- [ ] 展示节点已安装依赖服务/详细指标
- [ ] `Redis` 缓存
- [ ] 权限管理
- [ ] 站内消息推送
- [ ] `MQ`/`AQS`/`Celery`
- [ ] `Docker`集成
- [x] ~~fabric 版本差异过大故放弃~~ `paramiko`
- [ ] ~~ssh 密码登录~~ `ssh key` 免密登录
- [ ] `Scrapy` 集成
## 依赖
```
pip install pydantic[email]
pip install uvicorn
pip install fastapi
```
[comment]: <> (<details>)
[comment]: <> (<summary>项目文件结构</summary>)
[comment]: <> (```)
[comment]: <> (/alembic // alembic 自动生成的迁移配置文件夹,迁移不正确时 产看其中的env.py文件)
[comment]: <> (alembic.ini // alembic 自动生成的迁移配置文件)
[comment]: <> (app)
[comment]: <> (|____core )
[comment]: <> (| |______init__.py)
[comment]: <> (| |____config // 配置文件)
[comment]: <> (| | |______init__.py // 根据虚拟环境导入不同配置)
[comment]: <> (| | |____development_config.py // 开发配置)
[comment]: <> (| | |____production_config.py // 生成配置)
[comment]: <> (| |____security.py // token password验证 )
[comment]: <> (|____tests)
[comment]: <> (| |______init__.py)
[comment]: <> (|______init__.py)
[comment]: <> (|____api // API文件夹)
[comment]: <> (| |____api_v1 // 版本区分)
[comment]: <> (| | |____auth // auth模块)
[comment]: <> (| | | |______init__.py)
[comment]: <> (| | | |____schemas // 验证model文件夹)
[comment]: <> (| | | | |____user.py // user验证)
[comment]: <> (| | | | |______init__.py)
[comment]: <> (| | | |____curd // curd 文件夹)
[comment]: <> (| | | | |____user.py // user curd操作)
[comment]: <> (| | | | |______init__.py)
[comment]: <> (| | | |____views.py // 各模块视图函数)
[comment]: <> (| | |______init__.py)
[comment]: <> (| | |____api.py // 路由函数)
[comment]: <> (| |______init__.py)
[comment]: <> (| |____utils // 工具类文件夹)
[comment]: <> (| | |____custom_exc.py // 自定义异常)
[comment]: <> (| | |____response_code.py // 统一自定义响应状态)
[comment]: <> (| |____models // 项目models 文件(我没像django那样放到各模块下面,单独抽出来了))
[comment]: <> (| | |______init__.py)
[comment]: <> (| | |____auth.py // 用户权限相关的)
[comment]: <> (| | |____goods.py // 商品相关)
[comment]: <> (| | |____shop.py // 店铺相关)
[comment]: <> (| |____extensions // 扩展文件夹)
[comment]: <> (| | |______init__.py)
[comment]: <> (| | |____logger.py // 扩展日志 loguru 简单配置)
[comment]: <> (| |____common // 通用文件夹)
[comment]: <> (| | |______init__.py)
[comment]: <> (| | |____deps.py // 通用依赖文件,如数据库操作对象,权限验证对象)
[comment]: <> (| | |____curd_base.py // curd_base对象)
[comment]: <> (| | |____model_base.py // model继承base对象(报错暂时不用))
[comment]: <> (| |____logs)
[comment]: <> (| |____db // 数据库)
[comment]: <> (| | |______init__.py)
[comment]: <> (| | |____base_class.py )
[comment]: <> (| | |____session.py // )
[comment]: <> (| | |____base.py // 导出全部models 给alembic迁移用)
[comment]: <> (| | |____init_db.py // 初始化数据)
[comment]: <> (|____utils.py)
[comment]: <> (|____main.py)
[comment]: <> (|____initial_data.py)
[comment]: <> (```)
[comment]: <> (</details>)
## alembic 生成表
### 自动生成迁移文件
```shell
alembic revision --autogenerate -m "init commit"
```
### 生成表
> alembic upgrade head
### 生成初始化账号密码
```shell
cd app
python initial_data.py
```
```shell
username: adsmin@163.com
password: 123456
```
## PR
> 我当然希望你能够有更好的想法或贡献。
基于 fastapi 的爬虫可视化调度系统源码+项目说明.zip （183个子文件） 
index.css 289KB main.css 2KB color-green.css 673B color-dark.css 421B font.css 132B icon.css 100B .env.development 41B .gitignore 2KB
demo.html 894B index.html 624B alembic.ini 2KB
login-bg.jpg 69KB login-bg1.jpg 40KB 微信图片_20210113164500.jpg 27KB 微信图片_20210113164500.jpg 27KB img.jpg 6KB index.js 9KB index.js 7KB directives.js 3KB request.js 3KB main.js 2KB i18n.js 1KB vue.config.js 543B global.js 123B bus.js 87B postcss.config.js 59B babel.config.js 53B package-lock.json 1015KB package.json 1021B script.py.mako 494B README.md 5KB README.md 4KB README.md 2KB
wms3.png 112KB wms2.png 81KB wms1.png 23KB logo.png 7KB .env.production 41B view.py 12KB view.py 12KB __init__.py 10KB view.py 6KB view.py 5KB deployTask.py 5KB production_config.py 5KB development_config.py 5KB auth.py 4KB view.py 4KB testHost.py 4KB view.py 4KB views.py 3KB main.py 3KB responseCode.py 3KB redisDB.py 3KB utils.py 3KB mongoCurd.py 3KB excelTool.py 3KB fabricTool.py 3KB views.py 3KB monitorRedis.py 3KB user.py 2KB env.py 2KB platname.py 2KB security.py 2KB getHostInfo.py 2KB view.py 2KB session.py 2KB mysqlDB.py 2KB getAjaxData.py 2KB proTask.py 2KB curdBase.py 2KB saveLog.py 2KB deployServer.py 2KB getRsa.py 2KB deps.py 2KB __init.py 2KB redisCurd.py 1KB getStatus.py 1KB wordTool.py 1KB view.py 1KB view.py 1KB baseClass.py 1KB sys_schedule.py 1KB user.py 1KB websocketDemo.py 1KB role.py 1017B hosts.py 986B printOut.py 893B runTask.py 891B api.py 861B user.py 822B 7df34c4a5044_create.py 655B workLog.py 649B customExc.py 556B base.py 494B todos.py 474B logger.py 461B initial_data.py 435B role.py 407B rateLimit.py 392B共 183 条
- 1
- 2
资源评论
