sqoop组件部署.doc
需积分: 10 91 浏览量
2019-05-27
09:50:40
上传
评论
收藏 112KB DOC 举报
Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库
(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ：
MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可
以将 HDFS 的数据导进到关系型数据库中。Sqoop 项目开始于 2009 年，最早
是作为 Hadoop 的一个第三方模块存在，后来为了让使用者能够快速部署，也
为了让开发人员能够更快速的迭代开发，Sqoop 独立成为一个 Apache 项目。
安装环境：
操作系统：Linux 系统(Ubuntu14.04)
sqoop 版本：1.4.6
Hadoop：2.7.2
MySQL：5.7.15
注意：sqoop1 与 sqoop2 完全不兼容，1.4.6 及之前的版本是 sqoop1，之后
的是 sqoop2
1. 下载并解压 sqoop1.4.6
请登录 Linux 系统（本教程是使用 hadoop 用户名登录），然后，在 Linux 的
浏览器（一般自带的是火狐 Firefox 浏览器）中，打开本网页，点击 sqoop
下
载地址，下载 Sqoop 安装文件 sqoop-1.4.6.bin__hadoop-2.0.4-
alpha.tar.gz。浏览器默认会被下载文件保存到当前登录用户的下载目录下面。
下面执行以下命令
1. cd ~ #
进入当前用户的用户目录
2. cd 下载 #sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
文件下载后就被保
存在该目录下面
3. sudo tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C
/usr/local #
解压安装文件
4. cd /usr/local
5. sudo mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop #
修改文件名
6. sudo chown -R hadoop:hadoop sqoop #
修改文件夹属主，如果你当前登
录用户名不是
hadoop
，请修改成你自己的用户名
Shell 命令
2. 修改配置文件 sqoop-env.sh
1. cd sqoop/conf/
2. cat sqoop-env-template.sh >> sqoop-env.sh #
将
sqoop-env-
template.sh
复制一份并命名为
sqoop-env.sh
3. vim sqoop-env.sh #
编辑
sqoop-env.sh
Shell 命令
修改 sqoop-env.sh 的如下信息
1. export HADOOP_COMMON_HOME=/usr/local/hadoop
2. export HADOOP_MAPRED_HOME=/usr/local/hadoop
3. export HBASE_HOME=/usr/local/hbase
4. export HIVE_HOME=/usr/local/hive
资源评论
