没有合适的资源?快使用搜索试试~ 我知道了~
5.sqoop安装与配置.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 163 浏览量
2022-11-24
12:22:24
上传
评论
收藏 96KB PDF 举报
温馨提示
试读
2页
...
资源推荐
资源详情
资源评论
Sqoop 安装与配置
1. 概述
为了能够和 HDFS 之外的数据存储库进行交互,MapReduce 程序需要使用外部 API 来访
问数据。Sqoop 是一个开源的工具,它允许用户将数据从关系型数据库抽取到 Hadoop 中,
用于进一步的处理。抽取出来的数据可以被 Mapreduce 程序使用。也可以被其他类似于 Hive
的工具使用。一旦形成分析结果,Sqoop 便可以将这些结果导回数据库,以供其他客户端使
用。
2. 安装
1.配置环境变量
在安装 Sqoop 之前,需要在机器上安装 java 和 Hadoop,并且需要在系统环境变量中设置
HADOOP_HOME 变量
Su hadoop
Cd ~
tar zxf sqoop-1.2.0-CDH3B4.tar.gz
export SQOOP_HOME=/home/hadoop/sqoop-1.2.0
export SQOOP_CONF_DIR=/home/hadoop/sqoop-1.2.0/conf
export MSSQL_CONNECTOR_HOME=/home/hadoop/sqoop-sqlserver-1.0
export PATH=$PATH:$SQOOP_HOME/bin
2.安装 SqlServer 驱动
Sqoop 安装包中并不包含 jdbc 的 SqlServer 驱动,所以想在 HDFS 和 SqlServer 数据库之间导
入导出数据,则需要先下载 jdbc 的 SqlServer 驱动
tar zxf sqljdbc_3.0.1301.101_enu.tar.gz
解压把 sqljdbc4.jar 包拷贝到 Sqoop 安装目录下的 lib 目录下
3.安装 sqoop-sqlserver-1.0.tar.gz
tar zxf sqoop-sqlserver-1.0.tar.gz
解压得到 sqoop-sqlserver-1.0 目录,并在系统中添加环境变量 MSSQL_CONNECTOR_HOME,
让它指向 sqoop-sqlserver-1.0 目录。然后执行 sqoop-sqlserver-1.0 目录下的 install.sh。这个命
令会将连接的 jar 文件和配置文件拷贝的 Sqoop 目录中。至此就可以用 Sqoop 连接 SqlServer
和 HDFS 了。
资源评论
春哥111
- 粉丝: 1w+
- 资源: 5万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功