没有合适的资源?快使用搜索试试~ 我知道了~
阿里云 专有云企业版 V3.5.2 E-MapReduce 开发指南 - 20190326.pdf
需积分: 0 0 下载量 189 浏览量
2023-05-26
18:55:06
上传
评论
收藏 4.58MB PDF 举报
温馨提示
试读
158页
阿里云 专有云企业版 V3.5.2 E-MapReduce 开发指南 - 20190326.pdf
资源推荐
资源详情
资源评论
阿里云
专有云企业版
E-MapReduce
开发指南
产品版本
:
V3.5.2
文档版本
:
20190322
E-MapReduce
开发指南 / 法律声明
文档版本:20190322
I
法律声明
阿里云提醒您在阅读或使用本文档之前仔细阅读、充分理解本法律声明各条款的内容。如果您阅读
或使用本文档,您的阅读或使用行为将被视为对本声明全部内容的认可。
1.
您应当通过阿里云网站或阿里云提供的其他授权通道下载、获取本文档,且仅能用于自身的合法
合规的业务活动。本文档的内容视为阿里云的保密信息,您应当严格遵守保密义务;未经阿里云
事先书面同意,您不得向任何第三方披露本手册内容或提供给任何第三方使用。
2.
未经阿里云事先书面许可,任何单位、公司或个人不得擅自摘抄、翻译、复制本文档内容的部分
或全部,不得以任何方式或途径进行传播和宣传。
3.
由于产品版本升级、调整或其他原因,本文档内容有可能变更。阿里云保留在没有任何通知或者
提示下对本文档的内容进行修改的权利,并在阿里云授权通道中不时发布更新后的用户文档。您
应当实时关注用户文档的版本变更并通过阿里云授权渠道下载、获取最新版的用户文档。
4.
本文档仅作为用户使用阿里云产品及服务的参考性指引,阿里云以产品及服务的”现状“、“有
缺陷”和“当前功能”的状态提供本文档。阿里云在现有技术的基础上尽最大努力提供相应的介
绍及操作指引,但阿里云在此明确声明对本文档内容的准确性、完整性、适用性、可靠性等不作
任何明示或暗示的保证。任何单位、公司或个人因为下载、使用或信赖本文档而发生任何差错或
经济损失的,阿里云不承担任何法律责任。在任何情况下,阿里云均不对任何间接性、后果性、
惩戒性、偶然性、特殊性或刑罚性的损害,包括用户使用或信赖本文档而遭受的利润损失,承担
责任(即使阿里云已被告知该等损失的可能性)。
5.
阿里云文档中所有内容,包括但不限于图片、架构设计、页面布局、文字描述,均由阿里云
和/或其关联公司依法拥有其知识产权,包括但不限于商标权、专利权、著作权、商业秘密等。
非经阿里云和/或其关联公司书面同意,任何人不得擅自使用、修改、复制、公开传播、改变、
散布、发行或公开发表本文档中的内容。此外,未经阿里云事先书面同意,任何人不得为了任何
营销、广告、促销或其他目的使用、公布或复制阿里云的名称(包括但不限于单独为或以组合形
式包含”阿里云”、Aliyun”、“万网”等阿里云和/或其关联公司品牌,上述品牌的附属标志及
图案或任何类似公司名称、商号、商标、产品或服务名称、域名、图案标示、标志、标识或通过
特定描述使第三方能够识别阿里云和/或其关联公司)。
6.
如若发现本文档存在任何错误,请与阿里云取得直接联系。
E-MapReduce
开发指南 / 通用约定
文档版本:20190322
I
通用约定
格式 说明 样例
该类警示信息将导致系统重大变更甚至
故障,或者导致人身伤害等结果。
禁止:
重置操作将丢失用户配置数据。
该类警示信息可能导致系统重大变更甚
至故障,或者导致人身伤害等结果。
警告:
重启操作将导致业务中断,恢复业务所需
时间约10分钟。
用于警示信息、补充说明等,是用户必
须了解的内容。
注意:
导出的数据中包含敏感信息,请妥善保
存。
用于补充说明、最佳实践、窍门等,不
是用户必须了解的内容。
说明:
您也可以通过按Ctrl + A选中全部文件。
>
多级菜单递进。 设置 > 网络 > 设置网络类型
粗体 表示按键、菜单、页面名称等UI元素。 单击 确定。
courier
字体
命令。 执行 cd /d C:/windows 命令,进
入Windows系统文件夹。
斜体 表示参数、变量。
bae log list --instanceid
Instance_ID
[]或者[a|b] 表示可选项,至多选择一个。
ipconfig [-all|-t]
{}或者{a|b} 表示必选项,至多选择一个。
swich {stand | slave}
E-MapReduce
开发指南 / 目录
II
文档版本:20190322
目录
法律声明......................................................................................................I
通用约定......................................................................................................I
1 准备.........................................................................................................1
1.1 开发准备........................................................................................................................... 1
1.2 OSS参考使用说明.............................................................................................................1
1.3 示例项目使用说明............................................................................................................. 2
1.3.1 示例项目.............................................................................................................. 2
1.3.2 依赖资源.............................................................................................................. 3
1.3.3 准备工作.............................................................................................................. 3
1.3.4 基本概念.............................................................................................................. 4
1.3.5 集群运行.............................................................................................................. 4
1.3.6 本地运行.............................................................................................................. 7
1.3.6.1 Intellij IDEA...................................................................................................... 7
1.3.6.2 Scala IDE for Eclipse.....................................................................................10
2 Spark....................................................................................................15
2.1 准备工作......................................................................................................................... 15
2.1.1 安装E-MapReduce SDK....................................................................................15
2.1.2 Spark代码本地调试........................................................................................... 17
2.1.3 三方依赖说明.....................................................................................................17
2.1.4 垃圾清理............................................................................................................ 17
2.1.5 pyspark使用说明............................................................................................... 17
2.2 参数说明......................................................................................................................... 17
2.3 简单操作OSS文件...........................................................................................................19
2.4 Spark+OSS.....................................................................................................................20
2.5 Spark+MaxCompute.......................................................................................................20
2.6 Spark+ONS.................................................................................................................... 22
2.7 Spark+TableStore...........................................................................................................23
2.8 Spark+LogService.......................................................................................................... 24
2.9 Spark+MNS.................................................................................................................... 27
2.10 Spark+Hbase................................................................................................................28
2.11 spark-submit参数设置说明............................................................................................29
2.11.1 集群配置.......................................................................................................... 29
2.11.2 提交作业.......................................................................................................... 29
2.11.3 资源计算.......................................................................................................... 31
2.11.4 资源使用的优化............................................................................................... 33
2.11.5 配置建议.......................................................................................................... 34
3 Hadoop................................................................................................ 35
E-MapReduce
开发指南 / 目录
文档版本:20190322
III
3.1 参数说明......................................................................................................................... 35
3.2 MapReduce开发手册......................................................................................................36
3.2.1 在MapReduce中使用OSS................................................................................. 36
3.2.2 Word Count.......................................................................................................36
3.2.3 使用Maven工程来管理MR作业..........................................................................38
3.3 Hive开发手册.................................................................................................................. 43
3.3.1 在Hive中使用OSS............................................................................................. 43
3.3.2 使用Tez作为计算引擎........................................................................................44
3.4 Pig开发手册.................................................................................................................... 46
3.5 Hadoop Streaming......................................................................................................... 49
3.6 Hive+TableStore.............................................................................................................50
3.6.1 Hive接入TableStore.......................................................................................... 50
3.6.2 数据类型转换.....................................................................................................52
3.6.3 附录................................................................................................................... 52
3.7 MR+TableStore.............................................................................................................. 52
3.7.1 MR接入TableStore............................................................................................ 52
3.7.2 附录................................................................................................................... 55
4 HBase开发手册.................................................................................... 56
4.1 HBase配置......................................................................................................................56
4.2 访问HBase......................................................................................................................57
4.3 示例.................................................................................................................................58
5 HBase备份........................................................................................... 60
6 数据传输软件-Sqoop............................................................................62
6.1 安装Sqoop...................................................................................................................... 62
6.2 数据传输......................................................................................................................... 62
6.2.1 从Mysql到HDFS................................................................................................ 63
6.2.2 从HDFS到Mysql................................................................................................ 63
6.2.3 从Mysql到Hive...................................................................................................64
6.2.4 从Hive到Mysql...................................................................................................64
6.2.5 从Mysql到OSS.................................................................................................. 65
6.2.6 从OSS到Mysql.................................................................................................. 65
6.2.7 使用SQL作为导入条件...................................................................................... 66
7 E-MapReduce SDK发布说明...............................................................68
7.1 说明.................................................................................................................................68
7.2 v1.4.1.............................................................................................................................. 69
7.3 V1.4.0............................................................................................................................. 69
7.4 V1.3.2............................................................................................................................. 69
7.5 V1.3.1............................................................................................................................. 70
7.6 V1.3.0............................................................................................................................. 70
7.7 v1.1.3.1........................................................................................................................... 70
剩余157页未读,继续阅读
资源评论
weixin_40191861_zj
- 粉丝: 66
- 资源: 1万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功