没有合适的资源?快使用搜索试试~ 我知道了~
阿里云 专有云企业版 V3.5.2 E-MapReduce 开发指南 - 20190326.pdf
试读
158页
需积分: 0 0 下载量 172 浏览量
更新于2023-05-26
收藏 4.58MB PDF 举报
随着大数据时代的到来,云计算平台的建设与运用逐渐成为众多企业实现数据处理和分析的重要基础设施。阿里云作为国内领先的云计算服务提供商,推出了一系列云服务产品以满足不同场景下的计算需求。其中,E-MapReduce作为阿里云专有云企业版V3.5.2的重要组件,是面向企业级用户的弹性MapReduce大数据处理服务。针对该产品的使用与开发,阿里云特别提供了《阿里云专有云企业版V3.5.2 E-MapReduce 开发指南》,为企业用户和开发者提供了详细的操作手册和实践指南。
《阿里云专有云企业版V3.5.2 E-MapReduce 开发指南》(以下简称“指南”)首先在法律声明部分明确了用户使用该指南应遵守的法律义务,这些义务包括但不限于保守商业秘密,不侵犯知识产权,以及不得非法复制、传播或改编本指南内容。法律声明的设立有助于规范指南的使用行为,保护阿里云与用户的合法权益。
指南的正文内容主要分为几个部分,第一部分是开发准备。该部分详细介绍了在开始使用E-MapReduce之前需要完成的准备工作,包括但不限于安装Java开发工具包(JDK)、配置环境变量以及下载和安装E-MapReduce服务。这些步骤是使用E-MapReduce进行开发和部署的前提,为开发者快速上手提供了必要的准备指导。
接下来,指南对E-MapReduce的基本概念进行了说明,包括E-MapReduce的定义、架构以及运行机制等。在这一部分,开发者可以了解到E-MapReduce是如何作为一个弹性计算平台,为用户提供可扩展、高效率的大数据处理能力。同时,指南中还包含了一些约定和格式说明,如警示信息、警告、注意事项等,这些内容帮助开发者在使用过程中避免常见错误,提升开发效率。
指南的主体部分在于详细介绍了如何使用E-MapReduce进行开发,包括但不限于数据处理、机器学习、数据分析等多种场景下的应用示例和开发步骤。在数据处理方面,指南提供了如何利用E-MapReduce处理大规模数据集的操作指导,涵盖了数据的上传、作业提交、结果分析等关键环节。在机器学习领域,指南为开发者提供了利用E-MapReduce构建机器学习模型的完整流程,以及如何使用大数据技术提升模型训练的效率和准确性。而在数据分析方面,指南着重讲解了如何通过E-MapReduce对海量数据进行挖掘,实现商业智能和决策支持。
除了上述详细的应用场景指导外,指南还提供了常见问题的解答部分,其中涵盖了安装问题、使用问题、性能问题等多方面的问题和解决方案。通过这部分内容,开发者可以快速定位并解决在使用E-MapReduce过程中可能遇到的问题,确保开发工作的顺利进行。
《阿里云专有云企业版V3.5.2 E-MapReduce 开发指南》不仅是一份操作手册,更是一份包含了技术细节、应用案例和问题解决方案的实用宝典。无论企业用户还是独立开发者,均可通过该指南深入学习和掌握E-MapReduce的使用方法,从而充分发挥其在大数据处理、分析与计算方面的强大能力,为企业带来更多的商业价值。
阿里云
专有云企业版
E-MapReduce
开发指南
产品版本
:
V3.5.2
文档版本
:
20190322
E-MapReduce
开发指南 / 法律声明
文档版本:20190322
I
法律声明
阿里云提醒您在阅读或使用本文档之前仔细阅读、充分理解本法律声明各条款的内容。如果您阅读
或使用本文档,您的阅读或使用行为将被视为对本声明全部内容的认可。
1.
您应当通过阿里云网站或阿里云提供的其他授权通道下载、获取本文档,且仅能用于自身的合法
合规的业务活动。本文档的内容视为阿里云的保密信息,您应当严格遵守保密义务;未经阿里云
事先书面同意,您不得向任何第三方披露本手册内容或提供给任何第三方使用。
2.
未经阿里云事先书面许可,任何单位、公司或个人不得擅自摘抄、翻译、复制本文档内容的部分
或全部,不得以任何方式或途径进行传播和宣传。
3.
由于产品版本升级、调整或其他原因,本文档内容有可能变更。阿里云保留在没有任何通知或者
提示下对本文档的内容进行修改的权利,并在阿里云授权通道中不时发布更新后的用户文档。您
应当实时关注用户文档的版本变更并通过阿里云授权渠道下载、获取最新版的用户文档。
4.
本文档仅作为用户使用阿里云产品及服务的参考性指引,阿里云以产品及服务的”现状“、“有
缺陷”和“当前功能”的状态提供本文档。阿里云在现有技术的基础上尽最大努力提供相应的介
绍及操作指引,但阿里云在此明确声明对本文档内容的准确性、完整性、适用性、可靠性等不作
任何明示或暗示的保证。任何单位、公司或个人因为下载、使用或信赖本文档而发生任何差错或
经济损失的,阿里云不承担任何法律责任。在任何情况下,阿里云均不对任何间接性、后果性、
惩戒性、偶然性、特殊性或刑罚性的损害,包括用户使用或信赖本文档而遭受的利润损失,承担
责任(即使阿里云已被告知该等损失的可能性)。
5.
阿里云文档中所有内容,包括但不限于图片、架构设计、页面布局、文字描述,均由阿里云
和/或其关联公司依法拥有其知识产权,包括但不限于商标权、专利权、著作权、商业秘密等。
非经阿里云和/或其关联公司书面同意,任何人不得擅自使用、修改、复制、公开传播、改变、
散布、发行或公开发表本文档中的内容。此外,未经阿里云事先书面同意,任何人不得为了任何
营销、广告、促销或其他目的使用、公布或复制阿里云的名称(包括但不限于单独为或以组合形
式包含”阿里云”、Aliyun”、“万网”等阿里云和/或其关联公司品牌,上述品牌的附属标志及
图案或任何类似公司名称、商号、商标、产品或服务名称、域名、图案标示、标志、标识或通过
特定描述使第三方能够识别阿里云和/或其关联公司)。
6.
如若发现本文档存在任何错误,请与阿里云取得直接联系。
E-MapReduce
开发指南 / 通用约定
文档版本:20190322
I
通用约定
格式 说明 样例
该类警示信息将导致系统重大变更甚至
故障,或者导致人身伤害等结果。
禁止:
重置操作将丢失用户配置数据。
该类警示信息可能导致系统重大变更甚
至故障,或者导致人身伤害等结果。
警告:
重启操作将导致业务中断,恢复业务所需
时间约10分钟。
用于警示信息、补充说明等,是用户必
须了解的内容。
注意:
导出的数据中包含敏感信息,请妥善保
存。
用于补充说明、最佳实践、窍门等,不
是用户必须了解的内容。
说明:
您也可以通过按Ctrl + A选中全部文件。
>
多级菜单递进。 设置 > 网络 > 设置网络类型
粗体 表示按键、菜单、页面名称等UI元素。 单击 确定。
courier
字体
命令。 执行 cd /d C:/windows 命令,进
入Windows系统文件夹。
斜体 表示参数、变量。
bae log list --instanceid
Instance_ID
[]或者[a|b] 表示可选项,至多选择一个。
ipconfig [-all|-t]
{}或者{a|b} 表示必选项,至多选择一个。
swich {stand | slave}
E-MapReduce
开发指南 / 目录
II
文档版本:20190322
目录
法律声明......................................................................................................I
通用约定......................................................................................................I
1 准备.........................................................................................................1
1.1 开发准备........................................................................................................................... 1
1.2 OSS参考使用说明.............................................................................................................1
1.3 示例项目使用说明............................................................................................................. 2
1.3.1 示例项目.............................................................................................................. 2
1.3.2 依赖资源.............................................................................................................. 3
1.3.3 准备工作.............................................................................................................. 3
1.3.4 基本概念.............................................................................................................. 4
1.3.5 集群运行.............................................................................................................. 4
1.3.6 本地运行.............................................................................................................. 7
1.3.6.1 Intellij IDEA...................................................................................................... 7
1.3.6.2 Scala IDE for Eclipse.....................................................................................10
2 Spark....................................................................................................15
2.1 准备工作......................................................................................................................... 15
2.1.1 安装E-MapReduce SDK....................................................................................15
2.1.2 Spark代码本地调试........................................................................................... 17
2.1.3 三方依赖说明.....................................................................................................17
2.1.4 垃圾清理............................................................................................................ 17
2.1.5 pyspark使用说明............................................................................................... 17
2.2 参数说明......................................................................................................................... 17
2.3 简单操作OSS文件...........................................................................................................19
2.4 Spark+OSS.....................................................................................................................20
2.5 Spark+MaxCompute.......................................................................................................20
2.6 Spark+ONS.................................................................................................................... 22
2.7 Spark+TableStore...........................................................................................................23
2.8 Spark+LogService.......................................................................................................... 24
2.9 Spark+MNS.................................................................................................................... 27
2.10 Spark+Hbase................................................................................................................28
2.11 spark-submit参数设置说明............................................................................................29
2.11.1 集群配置.......................................................................................................... 29
2.11.2 提交作业.......................................................................................................... 29
2.11.3 资源计算.......................................................................................................... 31
2.11.4 资源使用的优化............................................................................................... 33
2.11.5 配置建议.......................................................................................................... 34
3 Hadoop................................................................................................ 35
E-MapReduce
开发指南 / 目录
文档版本:20190322
III
3.1 参数说明......................................................................................................................... 35
3.2 MapReduce开发手册......................................................................................................36
3.2.1 在MapReduce中使用OSS................................................................................. 36
3.2.2 Word Count.......................................................................................................36
3.2.3 使用Maven工程来管理MR作业..........................................................................38
3.3 Hive开发手册.................................................................................................................. 43
3.3.1 在Hive中使用OSS............................................................................................. 43
3.3.2 使用Tez作为计算引擎........................................................................................44
3.4 Pig开发手册.................................................................................................................... 46
3.5 Hadoop Streaming......................................................................................................... 49
3.6 Hive+TableStore.............................................................................................................50
3.6.1 Hive接入TableStore.......................................................................................... 50
3.6.2 数据类型转换.....................................................................................................52
3.6.3 附录................................................................................................................... 52
3.7 MR+TableStore.............................................................................................................. 52
3.7.1 MR接入TableStore............................................................................................ 52
3.7.2 附录................................................................................................................... 55
4 HBase开发手册.................................................................................... 56
4.1 HBase配置......................................................................................................................56
4.2 访问HBase......................................................................................................................57
4.3 示例.................................................................................................................................58
5 HBase备份........................................................................................... 60
6 数据传输软件-Sqoop............................................................................62
6.1 安装Sqoop...................................................................................................................... 62
6.2 数据传输......................................................................................................................... 62
6.2.1 从Mysql到HDFS................................................................................................ 63
6.2.2 从HDFS到Mysql................................................................................................ 63
6.2.3 从Mysql到Hive...................................................................................................64
6.2.4 从Hive到Mysql...................................................................................................64
6.2.5 从Mysql到OSS.................................................................................................. 65
6.2.6 从OSS到Mysql.................................................................................................. 65
6.2.7 使用SQL作为导入条件...................................................................................... 66
7 E-MapReduce SDK发布说明...............................................................68
7.1 说明.................................................................................................................................68
7.2 v1.4.1.............................................................................................................................. 69
7.3 V1.4.0............................................................................................................................. 69
7.4 V1.3.2............................................................................................................................. 69
7.5 V1.3.1............................................................................................................................. 70
7.6 V1.3.0............................................................................................................................. 70
7.7 v1.1.3.1........................................................................................................................... 70
剩余157页未读,继续阅读
资源推荐
资源评论
2023-05-27 上传
164 浏览量
2023-05-26 上传
115 浏览量
2023-05-27 上传
189 浏览量
2023-05-27 上传
2023-05-27 上传
2023-05-27 上传
172 浏览量
2023-05-27 上传
145 浏览量
193 浏览量
2023-05-27 上传
2023-05-27 上传
101 浏览量
145 浏览量
169 浏览量
2023-05-27 上传
2023-06-15 上传
147 浏览量
112 浏览量
2023-05-27 上传
109 浏览量
2023-05-27 上传
120 浏览量
资源评论
weixin_40191861_zj
- 粉丝: 86
- 资源: 1万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功