没有合适的资源?快使用搜索试试~ 我知道了~
阿里云 专有云企业版 V3.6.1 DataWorks 用户指南 - 20181105.pdf
需积分: 0 0 下载量 12 浏览量
2023-05-27
12:42:34
上传
评论
收藏 29.95MB PDF 举报
温馨提示
试读
754页
阿里云 专有云企业版 V3.6.1 DataWorks 用户指南 - 20181105.pdf
资源推荐
资源详情
资源评论
阿里云
专有云企业版
DataWorks
用户指南
产品版本
:
V3.6.1
文档版本
:
20181105
DataWorks
用户指南 / 法律声明
文档版本:20181105
I
法律声明
阿里云提醒您在阅读或使用本文档之前仔细阅读、充分理解本法律声明各条款的内容。如果您阅读
或使用本文档,您的阅读或使用行为将被视为对本声明全部内容的认可。
1.
您应当通过阿里云网站或阿里云提供的其他授权通道下载、获取本文档,且仅能用于自身的合法
合规的业务活动。本文档的内容视为阿里云的保密信息,您应当严格遵守保密义务;未经阿里云
事先书面同意,您不得向任何第三方披露本手册内容或提供给任何第三方使用。
2.
未经阿里云事先书面许可,任何单位、公司或个人不得擅自摘抄、翻译、复制本文档内容的部分
或全部,不得以任何方式或途径进行传播和宣传。
3.
由于产品版本升级、调整或其他原因,本文档内容有可能变更。阿里云保留在没有任何通知或者
提示下对本文档的内容进行修改的权利,并在阿里云授权通道中不时发布更新后的用户文档。您
应当实时关注用户文档的版本变更并通过阿里云授权渠道下载、获取最新版的用户文档。
4.
本文档仅作为用户使用阿里云产品及服务的参考性指引,阿里云以产品及服务的”现状“、“有
缺陷”和“当前功能”的状态提供本文档。阿里云在现有技术的基础上尽最大努力提供相应的介
绍及操作指引,但阿里云在此明确声明对本文档内容的准确性、完整性、适用性、可靠性等不作
任何明示或暗示的保证。任何单位、公司或个人因为下载、使用或信赖本文档而发生任何差错或
经济损失的,阿里云不承担任何法律责任。在任何情况下,阿里云均不对任何间接性、后果性、
惩戒性、偶然性、特殊性或刑罚性的损害,包括用户使用或信赖本文档而遭受的利润损失,承担
责任(即使阿里云已被告知该等损失的可能性)。
5.
阿里云文档中所有内容,包括但不限于图片、架构设计、页面布局、文字描述,均由阿里云
和/或其关联公司依法拥有其知识产权,包括但不限于商标权、专利权、著作权、商业秘密等。
非经阿里云和/或其关联公司书面同意,任何人不得擅自使用、修改、复制、公开传播、改变、
散布、发行或公开发表本文档中的内容。此外,未经阿里云事先书面同意,任何人不得为了任何
营销、广告、促销或其他目的使用、公布或复制阿里云的名称(包括但不限于单独为或以组合形
式包含”阿里云”、Aliyun”、“万网”等阿里云和/或其关联公司品牌,上述品牌的附属标志及
图案或任何类似公司名称、商号、商标、产品或服务名称、域名、图案标示、标志、标识或通过
特定描述使第三方能够识别阿里云和/或其关联公司)。
6.
如若发现本文档存在任何错误,请与阿里云取得直接联系。
DataWorks
用户指南 / 通用约定
文档版本:20181105
I
通用约定
格式 说明 样例
该类警示信息将导致系统重大变更甚至
故障,或者导致人身伤害等结果。
禁止:
重置操作将丢失用户配置数据。
该类警示信息可能导致系统重大变更甚
至故障,或者导致人身伤害等结果。
警告:
重启操作将导致业务中断,恢复业务所需
时间约10分钟。
用于警示信息、补充说明等,是用户必
须了解的内容。
注意:
导出的数据中包含敏感信息,请妥善保
存。
用于补充说明、最佳实践、窍门等,不
是用户必须了解的内容。
说明:
您也可以通过按Ctrl + A选中全部文件。
>
多级菜单递进。 设置 > 网络 > 设置网络类型
粗体 表示按键、菜单、页面名称等UI元素。 单击 确定。
courier
字体
命令。 执行 cd /d C:/windows 命令,进
入Windows系统文件夹。
斜体 表示参数、变量。
bae log list --instanceid
Instance_ID
[]或者[a|b] 表示可选项,至多选择一个。
ipconfig [-all|-t]
{}或者{a|b} 表示必选项,至多选择一个。
swich {stand | slave}
DataWorks
用户指南 / 目录
II
文档版本:20181105
目录
法律声明......................................................................................................I
通用约定......................................................................................................I
1 什么是数据工场DataWorks....................................................................1
2 规划与准备..............................................................................................4
2.1 规划与准备........................................................................................................................4
2.2 项目模式介绍.................................................................................................................... 7
2.3 创建DataWorks项目..........................................................................................................8
3 快速入门............................................................................................... 10
3.1 登录控制台......................................................................................................................10
3.2 新建任务......................................................................................................................... 12
3.3 配置智能监控.................................................................................................................. 23
3.4 新建资源......................................................................................................................... 25
3.5 新建函数......................................................................................................................... 27
3.6 导入本地数据.................................................................................................................. 31
3.7 使用Spark....................................................................................................................... 34
3.8 提交并发布任务...............................................................................................................39
4 数据开发............................................................................................... 43
4.1 解决方案......................................................................................................................... 43
4.2 SQL代码编码原则与规范................................................................................................ 46
4.3 业务流程......................................................................................................................... 51
4.3.1 业务流程介绍.....................................................................................................51
4.3.2 资源................................................................................................................... 56
4.3.3 注册函数............................................................................................................ 59
4.4 界面功能......................................................................................................................... 62
4.4.1 界面功能点介绍................................................................................................. 62
4.4.2 版本................................................................................................................... 63
4.4.3 结构................................................................................................................... 65
4.4.4 血缘关系............................................................................................................ 67
4.5 节点类型......................................................................................................................... 68
4.5.1 节点类型介绍.....................................................................................................68
4.5.2 数据同步节点.....................................................................................................69
4.5.3 ODPS SQL节点.................................................................................................70
4.5.4 ODPS MR节点.................................................................................................. 75
4.5.5 PYODPS节点.................................................................................................... 80
4.5.6 SHELL节点........................................................................................................84
4.5.7 SQL组件节点.....................................................................................................87
DataWorks
用户指南 / 目录
文档版本:20181105
III
4.5.8 虚拟节点............................................................................................................ 91
4.5.9 跨租户节点........................................................................................................ 94
4.6 调度配置......................................................................................................................... 97
4.6.1 基本属性............................................................................................................ 97
4.6.2 参数配置............................................................................................................ 98
4.6.3 时间属性.......................................................................................................... 106
4.6.4 依赖关系.......................................................................................................... 116
4.6.5 资源类型.......................................................................................................... 123
4.7 配置管理....................................................................................................................... 123
4.7.1 配置管理概览...................................................................................................123
4.7.2 配置中心.......................................................................................................... 124
4.7.3 项目配置.......................................................................................................... 128
4.7.4 模板管理.......................................................................................................... 129
4.7.5 主题管理.......................................................................................................... 129
4.7.6 层级管理.......................................................................................................... 130
4.8 发布管理....................................................................................................................... 130
4.8.1 任务发布.......................................................................................................... 130
4.8.2 跨项目克隆说明............................................................................................... 137
4.9 手动业务流程................................................................................................................ 139
4.9.1 手动业务流程介绍............................................................................................139
4.9.2 函数................................................................................................................. 140
4.9.3 资源................................................................................................................. 142
4.9.4 表.....................................................................................................................145
4.10 手动任务节点类型.......................................................................................................151
4.10.1 ODPS SQL节点.............................................................................................151
4.10.2 PYODPS节点................................................................................................ 153
4.10.3 手动数据同步节点..........................................................................................156
4.10.4 ODPS MR节点.............................................................................................. 160
4.10.5 SQL组件节点.................................................................................................166
4.10.6 虚拟节点........................................................................................................ 170
4.10.7 SHELL任务....................................................................................................172
4.11 手动任务参数设置.......................................................................................................175
4.11.1 基本属性........................................................................................................ 175
4.11.2 配置手动节点参数..........................................................................................176
4.12 组件管理..................................................................................................................... 183
4.12.1 创建组件........................................................................................................ 183
4.12.2 使用组件........................................................................................................ 189
4.13 临时查询..................................................................................................................... 191
4.14 运行历史..................................................................................................................... 193
4.15 公共表......................................................................................................................... 196
4.16 表管理......................................................................................................................... 198
剩余753页未读,继续阅读
资源评论
qq_19067309_zj
- 粉丝: 2
- 资源: 872
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功