# LSpider
LSpider - 一个为被动扫描器定制的前端爬虫
# 什么是LSpider?
一款为被动扫描器而生的前端爬虫~
由Chrome Headless、LSpider主控、Mysql数据库、RabbitMQ、被动扫描器5部分组合而成。
(1) 建立在Chrome Headless基础上,将模拟点击和触发事件作为核心原理,通过设置代理将流量导出到被动扫描器。
(2) 通过内置任务+子域名api来进行发散式的爬取,目的经可能的触发对应目标域的流量。
(3) 通过RabbitMQ来进行任务管理,支持大量线程同时任务。
(4) 智能填充表单,提交表单等。
(5) 通过一些方式智能判断登录框,并反馈给使用者,使用者可以通过添加cookie的方式来完成登录。
(6) 定制了相应的Webhook接口,以供Webhook统计发送到微信。
(7) 内置了Hackerone、bugcrowd爬虫,提供账号的情况下可以一键获取某个目标的所有范围。
### 为什么选择LSpider?
LSpider是专门为被动扫描器定制的爬虫,许多功能都是为被动扫描器而服务的。
建立在RabbitMQ的任务管理系统相当稳定,可以长期在无人监管的情况下进行发散式的爬取。
### LSpider的最佳实践是什么?
**服务器1(2c4g以上)**: Nginx + Mysql + Mysql管理界面(phpmyadmin)
将被动扫描器的输出位置设置为web路径下,这样可以通过Web同时管理结果以及任务。
LSpider部署5线程以上,设置代理连接被动扫描器(被动扫描器可以设置专门的漏扫代理)
**服务器2**(非必要,但如果部署在服务器1,那么就需要更好的配置):RabbitMQ
### 还有什么问题?
LSpider从设计之初是为了配合像xray这种被动扫描器而诞生的,但可惜的是,在工具发展的过程中,深刻认识到爬虫是无法和被动扫描器拆分开来的。
强行将应该在被动扫描器实现的功能在爬虫端实现简直是舍本逐末,所以我们发起了另一个被动扫描器项目,如果有机会,后续还会开源出来给大家。
### 设计思路?
[为被动扫描器量身打造一款爬虫-LSpider](https://lorexxar.cn/2021/01/28/lspider-design/)
# Usage
[安装&使用](./docs/init.md)
你可以通过下面的命令来测试是否安装成功
```
python3 manage.py SpiderCoreBackendStart --test
```
通过dockerfile安装(不推荐的安装模式)
```
cd ./docker
docker-compose up -d
```
[dockerfile 安装&使用](./docker/readme.md)
**使用dockerfile安装,推荐修改其中必要的配置信息以避免安全漏洞诞生。**
**值得注意的是,以下脚本可能会涉及到项目路径影响,使用前请修改相应的配置**
建议配合screen来挂起进程
启动LSpider webhook 与漏洞展示页面(默认端口2062)
```
./lspider_webhook.sh
```
启动LSpider
```
./lspider_start.sh
```
完全关闭LSpider
```
./lspider_stop.sh
```
启动被动扫描器
```
./xray.sh
```
# 一些关键的配置
[配置说明](./docs/config.md)
# 如何配置扫描任务 以及 其他的配置相关
其中包含了如何配置扫描任务、鉴权信息、webhook。
值得注意的是,文中提到的Cookie配置,格式为浏览器请求包复制即可。
[如何配置扫描任务 以及 其他的配置相关](./docs/manage.md)
扫描器结果输出到配置文件相同目录(默认为vuls/),则可以通过web界面访问。
![](./docs/6.png)
# 使用内置的hackerone、bugcrowd爬虫获取目标
使用hackerone爬虫,你需要首先配置好hackerone账号
```
python3 .\manage.py HackeroneSpider {appname}
```
![](./docs/4.png)
同理,bugcrowd使用
```
python3 .\manage.py BugcrowdSpider {appname}
```
![](./docs/5.png)
# Contributors
感谢如下贡献者对本工具发展过程中的贡献:
- [QGW](https://github.com/qboy0000)
# 404StarLink
![](https://github.com/knownsec/404StarLink-Project/raw/master/logo.png)
LSpider 是 404Team [星链计划](https://github.com/knownsec/404StarLink-Project)中的一环,如果对LSpider有任何疑问又或是想要找小伙伴交流,可以参考星链计划的加群方式。
- [https://github.com/knownsec/404StarLink-Project#community](https://github.com/knownsec/404StarLink-Project#community)
没有合适的资源?快使用搜索试试~ 我知道了~
LSpider 一个为被动扫描器定制的前端爬虫.zip
共93个文件
py:66个
md:6个
png:6个
需积分: 1 0 下载量 192 浏览量
2024-03-01
23:48:58
上传
评论
收藏 385KB ZIP 举报
温馨提示
LSpider 一个为被动扫描器定制的前端爬虫.zip
资源推荐
资源详情
资源评论
收起资源包目录
LSpider 一个为被动扫描器定制的前端爬虫.zip (93个子文件)
LSpider-master
lspider_webhook.sh 53B
lspider_start.sh 282B
LICENSE 1KB
LSpider
__init__.py 0B
settings.py.bak 5KB
wsgi.py 392B
urls.py 813B
docker
docker-entrypoint.sh 389B
docker-compose.yaml 1KB
readme.md 243B
Dockerfile 2KB
requirement.txt 118B
xray.sh 261B
settings.py.docker.bak 5KB
chromeheadless.py 20KB
utils
__init__.py 146B
LReq.py 7KB
log.py 2KB
wechathandler.py 2KB
base.py 2KB
web
__init__.py 0B
spider
__init__.py 146B
migrations
__init__.py 0B
0004_auto_20200414_1443.py 675B
0001_initial.py 945B
0003_auto_20200410_1600.py 490B
0007_auto_20201010_1520.py 930B
0006_auto_20200804_1629.py 550B
0005_auto_20200423_1441.py 386B
0002_urltable_type.py 388B
apps.py 152B
controller
__init__.py 146B
plugins
__init__.py 145B
CrtScan.py 2KB
prescan.py 2KB
spider.py 17KB
models.py 817B
management
__init__.py 145B
commands
PreSubdomainScan.py 1KB
__init__.py 145B
SpiderCoreBackendStart.py 2KB
test.py 658B
views.py 128B
index
__init__.py 146B
migrations
__init__.py 0B
0008_loginpagelist_title.py 412B
0001_initial.py 1KB
0002_scantask_last_scan_time.py 384B
0003_auto_20200407_1756.py 512B
0007_auto_20201010_1520.py 2KB
0006_auto_20200804_1629.py 571B
0004_auto_20200408_1641.py 385B
0005_auto_20200423_1441.py 745B
apps.py 150B
models.py 1KB
urls.py 551B
views.py 4KB
vultargetspider
__init__.py 0B
migrations
__init__.py 0B
apps.py 105B
controller
__init__.py 146B
hackerone.py 3KB
bugcrowd.py 2KB
models.py 57B
management
__init__.py 146B
commands
__init__.py 146B
BugcrowdSpider.py 1KB
HackeroneSpider.py 1KB
views.py 63B
templates
Vullist.html 203B
docs
3.png 53KB
changelog.md 276B
init.md 2KB
1.png 28KB
config.md 2KB
manage.md 3KB
6.png 75KB
5.png 50KB
4.png 89KB
2.png 48KB
manage.py 805B
core
__init__.py 146B
urlparser.py 9KB
htmlparser.py 3KB
rabbitmqhandler.py 9KB
threadingpool.py 2KB
domainauthcheck.py 2KB
chromeheadless.py 20KB
requirement.txt 101B
xray.sh 276B
.gitignore 1KB
lspider_stop.sh 239B
README.md 4KB
共 93 条
- 1
资源评论
日刷百题
- 粉丝: 5476
- 资源: 951
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功