没有合适的资源?快使用搜索试试~ 我知道了~
Schedulis 是一个基于 LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio。 Schedulis 支持常规的 Command Shell 和 Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务;支持完善的告警和工作流执行策略;提供多种类型的参数设置,动态全局变量和简单易用的 UI。
资源推荐
资源详情
资源评论
1
S
ched
u
li
s
安
装
⽂
档
⼀
、
环
境
检
查
⼆
、
获
取
项
⽬
⽂
件
并
编
译
打
包
三
、
确
定
环
境
部
署
模
式
四
、
S
ched
u
li
s
普
通
版
环
境
部
署
⼀)
、
复
制
、
解
压
安
装
包
⼆
)
、
初
始
化
数据
库
三)
、
修
改
配
置
.
修
改
h
ost
.
prop
e
rt
ie
s
⽂
件
.
E
x
ec
utor
S
e
rv
e
r
配
置
修
改
.
W
eb
S
e
rv
e
r
配
置
⽂
件修
改
.
修
改⽇
志
存
放
⽬
录
(
按
需
修
改
)
四
)
、
启
动
五
、
S
ched
u
li
s
HA
环
境
部
署
⼀)
、
复
制
、
解
压
安
装
包
⼆
)
、
初
始
化
数据
库
三)
、
修
改
配
置
四
)
、
N
gi
nx
配
置
修
改
五
)
、
启
动
六
、
S
ched
u
li
s
⾃
动化
环
境
部
署
⼀)
、
使
⽤
前
置
⼆
)
、
准
备
⾃
动化
部
署
脚
本
三)
、
获
取
项
⽬
⽂
件
并
编
译
四
)
、
修
改
配
置
五
)
、
⾃
动化
环
境
搭
建
.
E
x
ec
utor
搭
建
.
W
eb
S
e
rv
e
r
搭
建
.
初
始
化
数据
库
.
进
程
启
动
2
.
进
程
校
验
七
、
测
试
验
证
⼋
、
L
i
n
ki
s
插
件
安
装
.
⾃
动化
部
署
安
装
.
⼿
动
安
装
九
、
邮
件
告
警
配
置
⼗
、
Q
A
环
节
⼗
⼀
、
J
a
v
a
ba
s
e
加
密
算
法
1.
请
基
于
Linux
操
作
系统
操
作
(
建
议
CentOS
)
2.
创
建
新
⽤
户
hadoop
,
并
为
该
⽤
户
赋
予
root
权
限
,
⽤
于
部
署
Schedulis
3.
准
备好
MySQL
(
版
本
5.5+
)
的
客
户
端
和
服
务
端
4.
请
确
保
已安
装
并
且
正
确
配
置
JDK
(
版
本
1.8+
)
5.
配
置
集
群
各
节
点
之
间
的
免
密
码登
录
6.
请
准
备
⼀
台
已
经
正
确
安
装
和
配
置
Maven
(
版
本
3.3 - 3.8.1
)
和
Git
的
机
器
,
⽤
来
编
译
代
码
7.
为
需
要
部
署
的
机
器
运
⾏
项
⽬
bin
⽬
录
下
的
环
境
检
测
脚
本
checkEnv.sh
,
确
认
基
础
环
境
已
经
准
备
完
成
。
若
是
报
错
,
请
⽤
户
为
部
署
节
点
准
备好基
础
环
境
(
如
使
⽤
Releases
中
的
zip
包则
可
跳
过
该
步
骤
)
1.
使
⽤
Git
下
载
Schedulis
项
⽬
⽂
件
git clone
2.
下
载
jobtypes
插
件
的
依
赖
和
配
置
⼀
、
环
境
检
查
⼆
、
获
取
项
⽬
⽂
件
并
编
译
打
包
https://github.com/WeBankFinTech/Schedulis.git
1
Plain Text
复
制
代
码
3
3.
进
⼊
项
⽬
⽂
件
的
根
⽬
录
下,
将
第
⼆
步
中
下
载
的
jobtypes
⽂
件
解
压后
,
得
到
jobtypes
⽂
件
夹
,
将
整
个
jobtypes
⽂
件
夹
放
⼊
项
⽬
maven module
(
azkaban-jobtyope
)
的
根
⽬
录
,
然
后
使
⽤
Maven
来
编
译
打
包
整
个
项
⽬
mvn clean install -Dmaven.test.skip=true
待
整
个
项
⽬
编
译
打
包
成
功
后
,
⽤
户
可
以
在
这
两个
模
块
(azkaban-web-server
和
azkaban-exec-server)
各
⾃
的
target
⽬
录
下
找
到
相
应
的
.ZIP
安
装
包
(schedulis_web.zip
和
schedulis_exec.zip)
。
这
⾥
需
要
注
意
:
打
包
完
成
后
⼀
定
要
确
认
安
装
包内
是
否
有
plugins
⽬
录
,
如
发
现
安
装
包
没
有
plugins
,
或
者
plugins
为
空
,
则分别
进
⼊
WebServer
和
ExecServer
⽬
录
,
为
它
们
单
独
再
次
编
译
即可
,
如
果
没
有
打
包
进
来
则
⽆
法
使
⽤
插
件
。
编
译
打
包
后
⽬
录
说
明
:
Schedulis
提
供了
两
种
部
署
模
式
:
三
、
确
定
环
境
部
署
模
式
,
链
接
:
https://share.weiyun.com/RgAiieMx
密
码
:
det7rf
(
由
于
⽂
件
⼤
⼩
较
⼤
,
所
以
放
在
⽹
盘
进
⾏
管
理
)
,
下
载
时
请
注
意
对
应
版
本
号
(
Schedulis jobtypes
> Schedulis xxx(version) > jobtypes.zip
)
1
2
Plain Text
复
制
代
码
schedulis__web.zip
对
应
Schedulis
的
WebServer
bin -- WebServer
的
启
停
脚
本
conf -- WebServer
的相
关
配
置
lib -- WebServer
依
赖
库
plugins -- WebServer
插
件
web -- WebServer
的
web
资
源
1
2
3
4
5
6
7
Plain Text
复
制
代
码
schedulis__exec.zip
对
应
Schedulis
的
ExecutorServer
bin -- Executor Server
的
启
停
脚
本
conf -- Executor Server
的相
关
配
置
lib -- Executor Server
依
赖
库
plugins -- Executor
插
件
1
2
3
4
5
6
Plain Text
复
制
代
码
4
1.
普
通
版
部
署
模
式
普
通
版
部
署
模
式
,
即单
个
WebServer
组
合
⼀个
及
以
上
ExecutorServer
的
环
境
部
署
模
式
。
2.
HA
部
署
模
式
HA
部
署
模
式
,
即
多
个
WebServer
组
合
⼀个
及
以
上
ExecutorServer
的
环
境
部
署
模
式
,
通过
Nginx
实
现
WebServer
间
的
负
载
均
衡
点
我
进
⼊
Schedulis HA
环
境
部
署
1.
使
⽤
已
创
建
的
hadoop
⽤
户
将
以
下
⽂
件
复
制到
需
要
部
署
的
Executor
或
者
WebServer
服
务
器
:
Executor
或
者
WebServer
安
装
包
项
⽬
⽂
件
根
⽬
录
下
的
bin/construct
⽬
录
中
的
数据
库
初
始
化
脚
本
hdp_schedulis_deploy_script.sql
2.
将安
装
包
解
压
到
合
适
的
安
装
⽬
录
下,
譬
如
:
/appcom/Install/AzkabanInstall
,
并
确
认
安
装
的
根
⽬
录
/appcom
以
及
其
下
⼦
⽬
录
的
属
主为
hadoop
⽤
户
,
且
赋
予
775
权
限
(
/appcom/Install/AzkabanInstall/
为
默
认
安
装
⽬
录
,
建
议
创
建
该
路
径并
将
其
作为
安
装
路
径
,
可
避
免
⼀
些
路
径
的
修
改
)
在
MySQL
中
相
应
的
database
中
(
也
可
新
建
⼀个),
将
前
⾯
复
制
过
来
的
数据
库
初
始
化
脚
本
导
⼊
数据
库
四
、
Schedulis
普
通
版
环
境
部
署
⼀)
、
复
制
、
解
压
安
装
包
⼆
)
、
初
始
化
数据
库
5
部
署
时
,
建
议
将
配
置
⽂
件
放
置统
⼀
位
置
(
如
:
/appcom/config/schedulis-config/
)
进
⾏
管
理
,
并
将
项
⽬
bin/config
⽬
录
下
的⽬
录
全
部
复
制到
新
建
的
schedulis-config
⽬
录
,
再
通过软
链
的
⽅
式
链
接
⾄
服
务
下
的
conf
⽬
录
下
的
各
个
配
置
⽂
件
,
⽅
便
后
续
的
升
级
以
及
重
新
部
署
。
例
如
:
三)
、
修
改
配
置
#
连
接
MySQL
服
务
端
#eg: mysql -uroot -p12345
,
其
中
,
username
:
root, password: 12345
mysql -uUserName -pPassword -hIP --default-character-set=utf8
#
创
建
⼀个
Database(
按
需
执
⾏
)
mysql> create database schedulis;
mysql> use schedulis;
初
始
化
Database
#eg: source hdp_schedulis_deploy_script.sql
mysql> source
脚
本
存
放
⽬
录
/hdp_schedulis_deploy_script.sql
1
2
3
4
5
6
7
8
9
10
11
12
13
14
Plain Text
复
制
代
码
剩余22页未读,继续阅读
资源评论
帅地
- 粉丝: 7w+
- 资源: 30
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- IMG_5905.PNG
- Cyclone Version 9.51
- 高性能量化回测工具 hikyuu 2.0.3 python 3.12 windows 安装包
- 省级城乡居民基本养老保险情况数据集(2010-2022年).xlsx
- 舞队填写版.cpp
- 基于BP神经网络的多输入单输出回归预测.zip
- 高性能量化回测工具 hikyuu 2.0.3 python 3.9 windows 安装包
- 省级城镇职工基本养老保险情况2000-2022年.xlsx
- 高性能量化回测工具 hikyuu 2.0.3 python 3.10 windows 安装包
- 算法部署-使用OpenVINO+C#部署PaddleOCR字符识别算法-项目源码-优质项目实战.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功