Hive 数据导入 HBase 的方法 Hive 是一个基于 Hadoop 的数据仓库工具,而 HBase 是一个基于 Hadoop 的 NoSQL 数据库。它们都是大数据处理的重要组件。在数据处理过程中,经常需要将数据从 Hive 导入到 HBase 中。本文将详细介绍 Hive 数据导入 HBase 的方法。 一、Hive 关联 HBase 表方式 这种方法适用于数据量不大的情况(小于 4TB),通过 Hive 创建一个关联 HBase 表的表,可以将数据从 Hive 导入到 HBase 中。 需要创建一个 Hive 表,关联到 HBase 表,并指定 Hive schema 到 HBase schema 的映射关系。例如: CREATE TABLE hive_hbase_table(key int, name String, age String) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:age") TBLPROPERTIES ("hbase.table.name" = "hbase_table", "hbase.mapred.output.outputtable" = "hbase_table"); 然后,创建一个原始的 Hive 表,准备一些数据: CREATE TABLE hive_data (key int, name String, age string); INSERT INTO hive_data VALUES (1, "za", "13"); INSERT INTO hive_data VALUES (2, "ff", "44"); 接下来,通过 Hive 表将数据导入到 HBase 表中: INSERT INTO TABLE hive_hbase_table SELECT * FROM hive_data; 查看 HBase 表中是否有数据: hbase shell> scan 'hbase_table' 二、Hive 表生成 HFile,通过 bulkload 导入到 HBase 这种方法适用于数据量大的情况(大于 4TB),通过 Hive 将数据转换为 HFile,然后使用 bulkload 将数据导入到 HBase 中。 需要将 Hive 数据转换为 HFile: CREATE TABLE hbase_hfile_table(key int, name string, age String) STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.hbase.HiveHFileOutputFormat' TBLPROPERTIES ("hfile.output.path" = "/tmp/hbase_table_hfile/cf_0"); 然后,启动 Hive 并添加相关的 HBase 的 jar 包: ADD JAR /mnt/hive/lib/hive-hbase-handler-2.1.1.jar; ADD JAR /mnt/hive/lib/hbase-common-1.1.1.jar; ADD JAR /mnt/hive/lib/hbase-client-1.1.1.jar; ADD JAR /mnt/hive/lib/hbase-protocol-1.1.1.jar; ADD JAR /mnt/hive/lib/hbase-server-1.1.1.jar; 使用 bulkload 将数据导入到 HBase 中: hbase shell> bulkload 'hbase_table' '/tmp/hbase_table_hfile/cf_0' 这两种方法可以根据实际情况选择,数据量小的情况下使用第一种方法,数据量大的情况下使用第二种方法。


























- 粉丝: 2
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


最新资源
- 信息化教学背景下小学美术教学中情感教育刍议(1).docx
- 图书管理系统毕业论文DOC(1).doc
- 计算机图形学光照与纹理讲课文档(1).ppt
- 大数据背景下企业财务风险与内部控制策略(1).docx
- 计算机网络安全问题及其防范措施-1(1).docx
- 自动化专业英语教学PU(1).pptx
- 三年级信息技术与计算机交朋友教学设计(1).docx
- 本科毕业设计---基于.net技术的律师事务所软件系统(1).doc
- 人工智能技术服务协议模版(标准版)(1).docx
- 互联网金融服务三农的现状及对策研究(1).docx
- 浅谈煤炭企业信息化建设面临的问题及改进策略(1).docx
- 物联网A1楼装修改装工程施工组织设计(非常完整)(1).doc
- 电气自动化的节能设计技术段惠(1).docx
- 计算机终端安全基线平台的研究与应用(1).docx
- 基于单片机的变色发光淋浴喷头大学本科毕业论文(1).doc
- 计算机中心制度、职责及修订(1).doc



评论0