# 网络服务异常检测系统
```angular2html
基于Django Restframework和Spark的异常检测系统,数据库为MySQL、Redis,
消息队列为Celery,分析服务为Spark SQL和Spark Mllib;
每天0点1分自动运行定时job从全量数据中导入正常的cat数据,该数据用于kmeans做模型训练
```
# Fork项目
把项目fork到用户目录。
# 安装运行环境
```
$ sudo apt-get install redis-server
$ sudo apt-get install python3 python3-pip
$ sudo pip3 install virtualenv
$ sudo apt-get install python3-dev libmysqlclient-dev
$ git clone git_url
$ virtualenv -p python3 env_py3_spark
# 激活环境后安装依赖库
$ pip install -r requirements.txt
$ pre-commit install
```
# 本地配置文件 settings_local
进入web目录,创建新的配置文件settings_local.py。然后根据自己的环境进行配置。
例如:
```text
"""
本地开发的配置文件
"""
from web.settings import *
DATABASES = {
"default": {
"ENGINE": "django.db.backends.mysql",
"HOST": "127.0.0.1",
"USER": "root",
"NAME": "test_cpass",
"PASSWORD": "password",
"PORT": "",
},
}
```
# Celery任务启动
```
$ celery -A web worker -l info 启动celery
$ celery flower -A web --address=0.0.0.0 --port=6666 启动celery flower
```
# 新增用户管理模块,JWT TOKEN登录验证
```
nt_user 用户管理模块
```
# 新增接入第三方登录Oauth2.0,授权微博、QQ、微信登录
```
social_core social_django 第三方登录
```
# 新增Senty监控服务告警 服务500错误邮件告警
```
raven senty
```
# 增加websocket channels模块
```
遵从asgi协议,灵活支持同步和异步
```
# 新增django-haystack和elasticsearch
```
支持自动从django orm映射index signal自动更新index;
缺陷是只支持ES 2.x及以下 比较鸡肋,建议还是用DSL或Elasticsearch
```
# cache_page缓存接口返回的结果
```
缓存get请求返回的结果1个小时
@method_decorator(cache_page(60 * 60), name='get')
```
# 部署方式可采用异步的方式部署,提高并发
```
nginx+tornado+daphne+supervisor
```
没有合适的资源?快使用搜索试试~ 我知道了~
基于Django Restframework的异常检测系统,分析服务为Spark SQL和Spark Mllib.zip
共409个文件
py:398个
txt:2个
ini:2个
需积分: 0 1 下载量 200 浏览量
2023-09-03
20:57:59
上传
评论
收藏 340KB ZIP 举报
温馨提示
毕业设计,课程设计,项目源码均经过助教老师测试,运行无误,欢迎下载交流 ----- 下载后请首先打开README.md文件(如有)
资源推荐
资源详情
资源评论
收起资源包目录
基于Django Restframework的异常检测系统,分析服务为Spark SQL和Spark Mllib.zip (409个子文件)
nginx.conf 3KB
settings_local.py.example 892B
.gitignore 1KB
.gitignore 18B
search.html 3KB
network_tornado.ini 802B
network_daphne.ini 685B
README.md 2KB
oauth.py 17KB
saml.py 13KB
settings.py 12KB
test_google.py 11KB
open_id.py 10KB
storage.py 10KB
test_github_enterprise.py 10KB
base.py 10KB
utils.py 10KB
test_twitter.py 9KB
facebook.py 9KB
test_ngpvan.py 8KB
actions.py 8KB
test_nationbuilder.py 8KB
strategy.py 8KB
test_azuread_b2c.py 7KB
test_pipeline.py 7KB
google.py 7KB
open_id_connect.py 7KB
vk.py 7KB
test_utils.py 7KB
azuread_b2c.py 7KB
odnoklassniki.py 7KB
test_github.py 6KB
test_storage.py 6KB
weixin.py 6KB
test_xing.py 6KB
open_id_connect.py 6KB
actions.py 6KB
models.py 6KB
yahoo.py 6KB
base.py 6KB
mediawiki.py 6KB
test_bitbucket.py 6KB
test_elixir.py 5KB
test_steam.py 5KB
khanacademy.py 5KB
test_saml.py 5KB
test_mapmyfitness.py 5KB
test_dummy.py 5KB
azuread.py 5KB
oauth.py 5KB
test_keycloak.py 5KB
keycloak.py 4KB
test_partial.py 4KB
linkedin.py 4KB
models.py 4KB
test_tripit.py 4KB
azuread_tenant.py 4KB
test_foursquare.py 4KB
dropbox.py 4KB
exacttarget.py 4KB
github.py 4KB
test_yammer.py 4KB
test_five_hundred_px.py 4KB
auto_schema.py 4KB
test_exceptions.py 4KB
strategy.py 4KB
untappd.py 4KB
views.py 4KB
user.py 4KB
test_livejournal.py 4KB
line.py 4KB
bitbucket.py 3KB
bungie.py 3KB
itembase.py 3KB
exceptions.py 3KB
utils.py 3KB
consumers.py 3KB
shopify.py 3KB
open_id.py 3KB
test_gitlab.py 3KB
views.py 3KB
orcid.py 3KB
social_auth.py 3KB
views.py 3KB
test_views.py 3KB
0001_initial.py 3KB
utils.py 3KB
test_azuread.py 3KB
microsoft.py 3KB
views.py 3KB
utils.py 3KB
yandex.py 3KB
views.py 3KB
test_associate.py 3KB
models.py 3KB
vimeo.py 3KB
jawbone.py 3KB
nk.py 3KB
test_login.py 3KB
store.py 3KB
共 409 条
- 1
- 2
- 3
- 4
- 5
资源评论
程皮
- 粉丝: 266
- 资源: 2567
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功