没有合适的资源?快使用搜索试试~ 我知道了~
luiti:基于luigi的时间任务管理框架,支持多个项目
共172个文件
py:142个
markdown:11个
png:3个
需积分: 9 0 下载量 171 浏览量
2021-05-18
19:27:11
上传
评论
收藏 400KB ZIP 举报
温馨提示
路易帝 正如的主页所说,它是“一个Python模块,可帮助您构建批处理作业的复杂管道。它处理依赖关系解析,工作流管理,可视化等。它还内置了Hadoop支持。” Luiti建立在Luigi的基础上,将所有任务分成多个包,并每个Python文件强制执行一个任务。 Luiti任务类可以通过luiti命令进行管理,支持的操作包括ls,new,generate,info,clean,run和webui。 Luiti诞生于建立分层的数据库仓库,该仓库与我们刚提到的不同软件包相对应。 数据仓库由同步数据源,事实表,维度表,常规或临时业务报告组成。 批处理系统的本质是将一个大任务分解为多个小任务,而业务报告的本质是需要每日报告或每周报告,因此有TaskDay,TaskWeek等。 任务类还具有Hadoop版本,例如TaskDayHadoop,TaskWeekHadoop等。 您可以传递任何参数到
资源推荐
资源详情
资源评论
收起资源包目录
luiti:基于luigi的时间任务管理框架,支持多个项目 (172个子文件)
client.cfg 71B
.coveragerc 209B
luiti.css 849B
.gitignore 617B
index.html 2KB
MANIFEST.in 188B
tox.ini 725B
MultipleTextFiles.java 1017B
luiti.js 7KB
bower.json 657B
mr_local.json 55B
luiti.jsx 10KB
luiti 95B
README.markdown 21KB
README.zh_CN.markdown 16KB
changelog.markdown 620B
README.markdown 467B
TODO.markdown 269B
README.markdown 198B
INSTALL.markdown 69B
README.markdown 47B
README.markdown 46B
README.markdown 45B
README.markdown 44B
luiti_webui_list.png 116KB
luiti_webui_show.png 104KB
luiti_code_show.png 67KB
test_daemon.py 11KB
test_luigi_decorators.py 9KB
cli.py 9KB
sensor_schedule.py 9KB
builder.py 8KB
test_utils.py 7KB
test_manager.py 6KB
mongo_import_task.py 6KB
hadoop_ext.py 6KB
graph.py 5KB
test_task_templates.py 4KB
config.py 4KB
task_base.py 4KB
mr_utils.py 4KB
table.py 4KB
generate_from_templates.py 3KB
multiple_text_files.py 3KB
mr_test_case.py 3KB
ptm.py 2KB
create_python_package.py 2KB
ref_tasks.py 2KB
target_utils.py 2KB
active_packages.py 2KB
setup.py 2KB
template.py 2KB
as_a_luiti_task.py 2KB
hive_task.py 2KB
task_init.py 2KB
server.py 2KB
io_utils.py 2KB
loader.py 2KB
__init__.py 2KB
visualiser_env_template.py 2KB
handlers.py 2KB
test_main.py 2KB
mr_local.py 2KB
compress_utils.py 2KB
hdfs_utils.py 2KB
dep.py 2KB
package_map.py 2KB
date_utils.py 2KB
sys_argv.py 2KB
files.py 1KB
task_storage.py 1KB
params.py 1KB
__init__.py 1KB
code_render.py 1KB
example_webui_run.py 1KB
create_task.py 1KB
test_task.py 1KB
test_schedule.py 1KB
check_runtime_range.py 1KB
setup_luiti_packages.py 1KB
static_file.py 1KB
persist_files.py 1KB
__init__.py 1KB
ext_utils.py 997B
manage_decorators.py 971B
__init__.py 932B
task_range.py 928B
cache.py 922B
check_date_range.py 890B
foobar_day.py 887B
parameter.py 848B
__init__.py 795B
luigi_root_context.py 783B
__init_luiti.py 750B
task_week.py 727B
plug_packages.py 651B
__init__.py 595B
__init_luiti.py 573B
task_day.py 557B
test_mr_test_case.py 486B
共 172 条
- 1
- 2
资源评论
地下蝉
- 粉丝: 30
- 资源: 4527
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功