# wooyun_public
**乌云公开漏洞、知识库爬虫和搜索**
**crawl and search for wooyun.org public bug(vulnerability) and drops**
![index](index.png)
![search](search.png)
1.依赖组件
--------
+ python 2.7和pip
+ mongodb
+ scrapy
+ flask 或者 tornado
+ pymongo
+ Elasticserch (搜索引擎,可选)
[在ubuntu下的安装过程(点我)](install.md)
2.爬虫(由于wooyun已不以访问,爬虫功能已不可用)
--------
+ 乌云公开漏洞和知识库的爬虫分别位于目录scrapy/wooyun和scrapy/wooyun_drops
+ 运行scrapy crawl wooyun -a page_max=1 -a local_store=false -a update=false,有三个参数用于控制爬取:
-a page_max: 控制爬取的页数,默认为1,如果值为0,表示所有页面
-a local_store: 控制是否将每个漏洞离线存放到本地,默认为false
-a update:控制是否重复爬取,默认为false
+ 第一次爬取全部内容时,用scrapy crawl wooyun -a page_max=0 -a update=true
+ 平时只爬取最近的更新时,用scrapy crawl wooyun -a page_max=1,可以根据自己的爬取频率和网站更新情况调整page_max的值
+ 全部公开漏洞的列表和每个漏洞的文本内容存在mongodb中,大概约2G内容;如果整站爬全部文本和图片作为离线查询,大概需要10G空间、2小时(10M电信带宽);爬取全部知识库,总共约500M空间。(截止2015年10月)
3.搜索
--------
+ 漏洞搜索使用了Flask作为web server,bootstrap作为前端(8.12增加tornador web server,可配合nginx反向代理,支持高并发的应用)
+ 启动web server :在flask目录下运行./app.py,默认端口是5000
+ #### 启动Elassticsearch(如果已配置了Elasticsearch):在elasticsearch-2.3.4/bin目录下运行./elasticsearch -d (-d表示以后台方式运行)
+ 搜索:在浏览器通过http://localhost:5000进行搜索漏洞,多个关键字可以用空格分开。
+ 默认使用mongodb的数据库搜索,在进行全文搜索时比较慢,推荐安装使用Elasicsearch搜索引擎。[安装和配置Elasicsearch的方法(点我)](elasticsearch_install.md)
4.为mongodb数据库创建索引
--------
```bash
mongo
use wooyun
db.wooyun_list.ensureIndex({"datetime":1})
db.wooyun_drops.ensureIndex({"datetime":1})
```
5.虚拟机
------
+ 虚拟机1:在2016年6月底爬的wooyun全部漏洞库和知识库内容,集成了Elasticsearch搜索,总共35G(压缩后约14G),网盘地址为: [http://pan.baidu.com/s/1kVtY2rX](http://pan.baidu.com/s/1kVtY2rX) ,提取密码:5ik7(8.5更新)
使用方法:
1、压缩包解压后是一个vmware虚拟机的镜像,可以由vmware直接打开运行;
2、由于在制作压缩包时虚拟机为“挂起”状态,当前虚拟机的IP地址可能和宿主机的IP地址段不一致,请将虚拟机重启后重新获取IP地址,虚拟机用户密码为hancool/qwe123;
3、进入wooyun_public目录,先用git更新一下到最新的代码git pull(如果提示merge冲突,先进行git reset --hard origin/master后再git pull);
4、在elasticsearch-2.3.4/bin目录下运行./elasticsearch -d (-d表示以后台方式运行)
5、进入wooyun_public/flask目录,运行./app.py;
6、打开浏览器,输入http://ip:5000,ip为虚拟机的网卡地址(使用ifconfig eth0查看)
+ 虚拟机2:已打包了一个安装了所有组件和elasticsearch搜索的虚拟机,不包含具体内容,压缩后约2.3G(由于wooyun还处于升级关闭期间,无法进行内容的爬取),网盘地址:[http://pan.baidu.com/s/1nvrS3zj](http://pan.baidu.com/s/1nvrS3zj),提取密码:2290 (8.5更新)
使用方法:
1、压缩包解压后是一个vmware虚拟机的镜像,可以由vmware直接打开运行;
2、由于在制作压缩包时虚拟机为“挂起”状态,当前虚拟机的IP地址可能和宿主机的IP地址段不一致,请将虚拟机重启后重新获取IP地址,虚拟机用户密码为hancool/qwe123;
3、在elasticsearch-2.3.4/bin目录下运行./elasticsearch -d (-d表示以后台方式运行)
4、运行mongo-connect,用于将mongodb的数据实时同步到elasticsearch:sudo mongo-connector -m localhost:27017 -t localhost:9200 -d elastic2_doc_manager &
5、进入wooyun_public目录,先用git更新一下到最新的代码git pull(如果提示merge冲突,先进行git reset --hard origin/master后再git pull);
6、分别进入wooyun_public目录下的wooyun和wooyun_drops,运行爬虫爬取数据(爬取全部数据并且本地离线缓存):scrapy crawl wooyun -a page_max=0 -a local_store=true -a update=true
7、进入wooyun_publich目录下的flask,运行./app.py,启动web服务
8、打开浏览器,输入http://ip:5000,ip为虚拟机的网卡地址(使用ifconfig eth0查看)
6.其它
--------
+ 本程序只用于技术研究和个人使用,程序组件均为开源程序,漏洞和知识库来源于乌云公开漏洞,版权归wooyun.org。
+ 期待雨过天晴、重开wooyun!
没有合适的资源?快使用搜索试试~ 我知道了~
wooyun_public-master-python.rar
共56个文件
py:14个
js:9个
html:8个
需积分: 5 0 下载量 166 浏览量
2024-02-03
11:22:14
上传
评论
收藏 1.02MB RAR 举报
温馨提示
wooyun_public-master-pythonpython源码python源码
资源推荐
资源详情
资源评论
收起资源包目录
wooyun_public-master-python.rar (56个子文件)
wooyun_public-master-python
flask
app.py 7KB
templates
search_bugs.html 2KB
search_drops.html 1KB
base.html 2KB
index.html 2KB
static
drops
js
bootstrap.min.js 35KB
jquery.js 93KB
jquery.min.js 81KB
css
bootstrap.min.css 115KB
95e46879.main.css 97KB
bugs
js
jquery.twbsPagination.js 9KB
jquery-1.4.2.min.js 70KB
jquery-1.11.3.min.js 94KB
bootstrap
js
bootstrap.js 67KB
npm.js 484B
bootstrap.min.js 36KB
css
bootstrap.min.css 120KB
bootstrap-theme.css.map 47KB
bootstrap-theme.css 26KB
bootstrap.css.map 381KB
bootstrap.css 144KB
bootstrap-theme.min.css 23KB
fonts
glyphicons-halflings-regular.svg 106KB
glyphicons-halflings-regular.ttf 44KB
glyphicons-halflings-regular.woff 23KB
glyphicons-halflings-regular.eot 20KB
glyphicons-halflings-regular.woff2 18KB
css
style.css 17KB
scrapy
wooyun
wooyun
__init__.py 0B
pipelines.py 3KB
spiders
__init__.py 161B
WooyunSpider.py 5KB
items.py 549B
settings.py 3KB
scrapy.cfg 256B
wooyun_drops
wooyun_drops
__init__.py 0B
pipelines.py 4KB
spiders
__init__.py 161B
WooyunSpider.py 3KB
items.py 514B
settings.py 3KB
scrapy.cfg 268B
elasticsearch_install.md 5KB
search.png 373KB
index.png 112KB
install.md 822B
tornado
app.py 7KB
templates
search_bugs.html 2KB
search_drops.html 1KB
base.html 2KB
index.html 2KB
.gitignore 65B
python爬虫入门学习.pdf 78KB
README.md 5KB
update.sh 192B
python爬虫入门建议&指导.pdf 105KB
共 56 条
- 1
资源评论
程序媛小刘
- 粉丝: 2251
- 资源: 1323
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功