华为大数据应用开发指南

所需积分/C币:50 2018-08-28 15:02:24 20.27MB PDF
49
收藏 收藏
举报

安全认证接口 CQL开发指南 HBase开发指南 HDFS开发指南 Hive开发指南 Kafka开发指南 MapReduce开发指南 Oozie开发指南 Redis开发指南 Solr开发指南 Spark开发指南 Storm开发指南 YARN开发指南
Fusionlnsight HD 应用开发指南 前言 前言 概述 本文档提供应用开发的样例及开发规范,专供需要在 FusionInsight hD上进行业务应用 开发的用户使用,主要适用于具备Java开发经验的开发人员。 读者对象 本指南主要适用于具备Java编程经验的开发人员,日标读者为软件开发工程师。 符号约定 在本文中可能出现下列标志,它们所代表的含义如下 符号 说明 △ 以本标忐开始的文本表示有高度潜在危险,如果不 危险 能避免,会导致人员死亡或严重伤害。 △ 以本标志开始的文本表示有中度或低度潜在危险, 如果不能避免,可能导致人员轻微或中等伤害。 △注 以本标志开始的文本衣示有潜在风险,如果忽视这 些文本,可能导致设备损坏、数据丢失、设备性能 降低或不可预知的结果。 窍门 以木标志开始的文木能帮助您解决某个问题或节省 您的时间 说明 以本标志开始的文本是正文的附加信息,是对正文 的强调和补充。 修订记录 修改记录累积了每次文档更新的说明。最新版本的文档包含以前所有文档版本的更新 内容 文档版本03(2016-10-25) 华为专有和保密信息 版权所有c华为技术有限公司 FusionInsight hd 应用廾发指南 前言 文档版本03(2016-10-25) 第三次发布。 文档版本02(2016-09-30) 第二次发布。 文档版本01(2016-08-15) 第次发布。 文档版本03(2016-10-25) 华为专有和保密信息 版权所有c华为技术有限公司 Fusionlnsight HD 应用廾发指南 日录 目录 前言… 1安全模式 1.1安全认证接口 1.1.1安全认证原理和认证机制 1.1.2安仝认证接口简介 1.1.3安全认证样例代码 1.1.3.1配置信息初始化 1.1.32统一认证工具类 6 1.1.4认证失败处理FAQ.… 1.2CQL.开发指南 1.2.1概述 12.2开发环境准备. 1.23开发指引.… 1.24代码样例 13 1.2.5运行应用… 1.2.6对外接口 1.3 HBase开发指南 1.3.1概述 1.3.1.1应用开发简介 16 1.3.1.2常用概念. 17 1.3.1.3开发流程. 1.3.2准备开发环境 1.3.2.1开发环境简介. 1.3.22准备 Eclipse与JDK. 13.23下载 HBasc客户端 20 1.3.24准备运行环境 …20 1.3.24.1准备 Windows运行环境 1.3.2.4.2准备 Linux客户端运行坏境 21 1.3.2.5配置并导入工程 23 1.32.6准备安全认证 24 1.3.2.6.1准备认证机制代码.…. 24 1.3.3开发程序 1.3.3.1典型场景说明 5 文档版本03(2016-10-25) 华为专有和保密信息 版权所有c华为技术有限公司 FusionInsight hd 应用廾发指南 日录 1.3.3.2开发思路. 26 1.3.3.3样例代码说明 1.3.3.3.1创建 Configuration 1.3.3.3.2创建 Connection 27 1.3.3.3.3创建表 ……………27 1.3.3.3.4删除表 1.3.3.3.5修改表 1.3.3.3.6插入数据 1.3.3.3.7删除数据 32 1.3.33.8使用Get读取数据…. 1.3.3.39使用Scan读取数据 33 1.3.3.3.10使用过滤器 Filter 1.3.33.11创建二级索引 1.3.3.3.12删除索引 8 1.3.3.3.3基于二级索引的查询 1.3.3.3.14写MOB表.… 1.3.3.3.5读MOB数据 2 1.3.33.16 Region的多点分割 43 1.3.3.3.17ACL安全配置 1.3.3.3.18 HBase支持全文索引 45 1.3.4调测程序 47 1.3.4.l在 Windows中调测程序 1.3.4.1.1编译并运行程序 1.3.4.L2査看调测结果 .47 1.3.42在 Linux中调测程序… 148 1.3.42.1安装客户端时编译并运行程序 1.3.42.2未安装客户端时编泽并运行程序 1.342.3查看调测结果 1.3.5更多信息… 1.3.5.1SQL查询 58 1.3.52 HBase文件存储. 60 1.3.52.1配置 HBase文件存储 .60 1. 3.5.2.2 Java APl 61 1.3.53对外接口 .63 1.3.5.3.1 Shell. 63 1. 3.5.3.2 Java API 64 1.3.5.3. 3 Sqlline 1. 3.5.3.4 JDBC API 1.3.5.3.5 Web ul 67 1.3.54FAQ 171 1.3.54.|设置 Eclipse的文本文件编码格式,解决乱码显示问题 71 3.542运行 HBase应用开发程序产生异常,提小信息包含 org. apache hadoop. hbase ipc controller. ServerrpcController Factory的解决办法… 文档版本03(2016-10-25) 华为专有和保密信息 版权所有c华为技术有限公司 FusionInsight hd 应用廾发指南 日录 1.3.54.3 bulkload和put应用场景. 14HDlS开发指南 1.4.1概述 14.1.1HDFS简介 1.4.1.2常用概念 …74 14.1.3开发流程 75 14.2准备开发环境. …………….77 14.2.1开发环境简介 …77 14.2.2准备 Eclipse与JDK 7 14.2.3准备运行环境 14.2.3.1准备 Windows运行环境. 1.4.2.3.2准备 Linux客户端运行环境 79 14.24获取并导入样例工程. 8I 14.2.5创建工程(可选) 88 14.26淮备安全认证 +++++*÷++““ 14.3开发程序… 着非,非 …93 143.1场景说明. 93 1.4.3.2开发思路. 14.3.3样例代码说明. 1.4.3.3.1HDFS初始化 94 14.3.3,2写文件 14.33.3追加文件内容 97 14.334读文件 1.4.3.3.5删除文件,… 1. 4.3.3.6 Colocation 14.3.3.7 SmallFS操作 14.3.3.8设置存储策略… 102 14.4调测程序.… 103 14.4.l在 Windows中调测程序 103 14.4.1.1编译并运行稈序 103 1.4.4.L2查看调测结果… *· 104 144.2在 Linux中调测程序 105 1.4.4.2.1安装客户端时编译并运行程序.… 106 144.2.2未安装客户端时编译并运行程序 l14 1.4.4.2.3查看调测结果 …122 14.5更多信息 123 1.4.51常用APⅠ介绍 123 1. 4.5.1.1 Java API 123 1.4.5.1.2CAPI… 130 1. 4.5.1. 3 Http Rest Api ……132 14.52Shel命令介绍. 141 1.5Hive井发指南… 144 文档版本03(2016-10-25) 华为专有和保密信息 版权所有c华为技术有限公司 FusionInsight hd 应用廾发指南 日录 1.5.1概述 1.5.1.1应用开发简介 1.5.1.2常用概念.… 145 1.5.1.3权限要求. 145 1.5.1.4开发流程. …148 1.5.2环境准备 149 1.5.2.1环境简介.… ,……150 1.5.2.2淮备 Eclipse与JDK …150 1.5.2.3准各JDBC客户端开发环境 1.5.24准备 Python客户端开发环境 153 1.52.5准备 CAtalog开发环境 155 1.52.6准备ODBC廾发环境 156 1.5.2.6. I Windows环境 157 1.5.2.6.2 Linux环境 160 1.5.2.6.3附录 63 1.5.27准备认证机制代码. 着非,非 166 1.5.3开发程序 67 1.5.3.1典型场景说明 167 1.5.3.2样例代码 .168 1.5.3.2.1创建表 1.5.322数据加载 170 1.5.3.2.3数据查询 170 15.324用广自定义函数 171 1.5.325样例程序指导.… …173 1.54调测程序.… 1.5.4.1JDBC客户端运行及结果查看. 1.54.2 Python客户端运行及结果查看… 180 1.5.43 CAtalog运行及结果查看 181 1.5.44ODBC客户端运行及结果查看 184 1.5.44. 1 Windows环境 184 1.544.2 Linux环境 185 1.5.5更多信息 85 1.551对外接口 185 15.5.1.lJDB 85 1.5.5.1.2 Hive SQl… ………………185 1.5.5.1.3 WebhCat 188 1.5.5.1.4ODBC. 1.5.5.2FAQ.… 1.5.521使用二次开发程序产生异常,提示“ Unable to read HiveServer2 configs from ZooKeeper”信息…210 1.5.52,2使用 IBM JDK产生异常,提示“ Problem performing GSs wrap”信息… 1.6Kaka开发指南 1.6.1概述… 211 文档版本03(2016-10-25) 华为专有和保密信息 版权所有c华为技术有限公司 FusionInsight hd 应用廾发指南 日录 16.1.1应用开发简介…… 16.1.2常用概念. 16.1.3开发流程.. ··· .6.2准备开发环境 16.2.1开发环境简介… 1.6.22准备 eclipse和JDK 16.2.3 Windows客户端安装… 215 16.24导入样例工稈 216 16.2.5配置说明 216 1.6.2.6 Linux客户端安装… 217 16,27准备安全认证 218 1.6.3开发程序 218 1.6.3.1典型场景说明. 219 1.6.3.2样例代码说明.… ……219 1.6.3.2.1旧日 Producer ap使用样例… 219 16.322旧 Consumer api使用样例 …220 1.6.3.2.3多线程 Producer样例 16.324多线程 Consumer样例 221 1.6.32.5新 Producer api使用样例 221 16.32.6新 Consumer api使用样例 222 1.6.4调测程序 16.4.l在 Windows中调测程序 223 1.6.4.2在 Linux中调测程序. 16.5更多信息… 1.6.51对外接口.… 165.1.1She命令. 230 1. 6.5. 1 2 Java API 1.6.5.1.3安全接口说明 1.6.5.14客户端SSL加密功能使用说明… 16.52.样例运行时提示 Topic鉴权失败“ example- netric I- TOPIC AUTHORIZATION FAILED“……233 1.6.52FAQ…… 3 1.6.52.2已终拥有 Topic访问权限,但是运行 Producer. java样例运行获取元数据失败“ ERROR fetching topic metadata for topics.”的解决办法 33 1.7 Mapreduce开发指南 ……234 1.7.1概述 234 17.1. Mapreduce简介 …234 1.7.1.2常用概念 1.7.1.3开发流程 1.7.2准备开发环境.… 237 1.7.2.1开发环境简介 237 1.7.2.2准备 Eclipse与JDK.... 1.7.2.3准备运行环境 1.7.2.3.1准备 Windows运行环境.. .238 文档版本03(2016-10-25) 华为专有和保密信息 版权所有c华为技术有限公司 FusionInsight hd 应用廾发指南 日录 1.7.2.3.,2准备 Linux运行环境 1.7.24获取并导入样例工程 240 1.7.2.5创建工程(可选) 1.726准备安全认证 250 1.7.3开发程序 1.7.3.1 Mapreduce统计样例程序 251 1.7.3.1.1典型场景说明… ……,……251 1.7.3.12样例代码说明.…. 252 1.74调测程序. 255 1.74.l在 Windows环境中调测程序… …255 1.7.4.1.1编译并运行稈序 255 1.7.4.L.2查看调测结果 1.7.4.2在 Linux环境中运行程序… 257 1.7.42.1编译并运行程序. 257 1.7.4.2.2查看调测结果 +++++*÷++““ 260 1.7.5更多信息 26l 1.7.5.1常用AP介绍 26l 1.7.5.2FAQ 263 1.7.52.提交 Mapreduce仁务时客户端长时间无响应 263 1.7.52.2网络问题导致运行应用程序时出现异常… 264 17.52.3 Mapreduce二次开发远程调试.… .264 1.8O0zie开发指南. .267 1.8.1概述 …267 18.1.1应用开发简介 ..……267 1.8.12常用概念 1.8.1.3开发流程.… ··中 268 1.8.2环境准备…. 1.8.2.1开发环境简介…… 270 18.2.2准备 Eclipse与JDK,… 18.23准备运行环境 271 1.8.2.4下载并导入样例工程. *· 272 1.8.2.5淮备安全认证代码 1.8.3开发程序…. 274 1.8.3.1配置文件开发… 274 1.8.3.1.1场景说明…. 274 18.3.12开发步骤 275 1.8.3.1.3运行流程. 277 1.8.32代码样例 279 1. 2.1 job properties 1. 8.3.2.2 workflow. xml 280 1. 8.3.2.3 Start Action 281 1. 8.3. 2 4 End Action 281 文档版本03(2016-10-25) 华为专有和保密信息 版权所有c华为技术有限公司

...展开详情
试读 127P 华为大数据应用开发指南
立即下载
限时抽奖 低至0.43元/次
身份认证后 购VIP低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
关注 私信
上传资源赚钱or赚积分
最新推荐
华为大数据应用开发指南 50积分/C币 立即下载
1/127
华为大数据应用开发指南第1页
华为大数据应用开发指南第2页
华为大数据应用开发指南第3页
华为大数据应用开发指南第4页
华为大数据应用开发指南第5页
华为大数据应用开发指南第6页
华为大数据应用开发指南第7页
华为大数据应用开发指南第8页
华为大数据应用开发指南第9页
华为大数据应用开发指南第10页
华为大数据应用开发指南第11页
华为大数据应用开发指南第12页
华为大数据应用开发指南第13页
华为大数据应用开发指南第14页
华为大数据应用开发指南第15页
华为大数据应用开发指南第16页
华为大数据应用开发指南第17页
华为大数据应用开发指南第18页
华为大数据应用开发指南第19页
华为大数据应用开发指南第20页

试读结束, 可继续阅读

50积分/C币 立即下载