【免费】大数据开发中的Sqoop学习笔记(自己整理版).pdf_sqoop最新版本资源-CSDN文库

需积分: 0 181 浏览量 2023-07-05 13:08:22 上传评论 1 收藏 1.07MB PDF 举报

资源推荐

资源详情

资源评论

1. Sqoop笔记

1.1. Sqoop简介

1.2. Sqoop安装步骤

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(HDFS/Hive/HBase)与传统的数据库

(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL

,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据

库中。

Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部

署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个[Apache]

(https://baike.baidu.com/item/Apache/6265)项目。

Sqoop的核心设计思想是利用MapReduce加快数据传输速度。也就是说Sqoop的导入和导出功能是通过

基于Map Task（只有map）的MapReduce作业实现的。所以它是一种批处理方式进行数据传输，难以实

现实时的数据进行导入和导出。

MySQL: 关系型数据库（Oracle, SQL Server, DB2 ) -- 业务数据

HDFS:  海量数据存储（文件类型的）分布式文件存储系统

Hive:  数据分析工具（将SQL翻译为MR)

HBase: 非关系型数据库（NoSQL) 学习的Redis

Sqoop 是一个数据导入导出工具，可以将MySQL的数据导入到HDFS，Hive,Hbase中。(Flume 是一

个数据抽取工具)

也可以将HDFS,Hive 中的数据导出到mysql。

1

2

3

4

5

6

7

8

9

10

11

12

13

1，上传压缩包、解压

[root@hadoop10 modules]# tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C

/opt/installs/

2，重命名

[root@hadoop10 installs]# mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

3,配置环境变量

[root@hadoop10 installs]# vim /etc/profile

#追加以下内容：

1

2

3

4

5

6

7

8

9

1.3. Sqoop测试使用

export SQOOP_HOME=/opt/installs/sqoop

export PATH=$PATH:$SQOOP_HOME/bin

4，刷新环境变量信息

[root@hadoop10 installs]# source /etc/profile

5，修改配置文件信息

[root@hadoop10 installs]# cd /opt/installs/sqoop/conf

[root@hadoop10 conf]# cp sqoop-env-template.sh sqoop-env.sh

#在配置文件中加入以下路径信息：

export HADOOP_COMMON_HOME=/opt/installs/hadoop3.1.4

export HADOOP_MAPRED_HOME=/opt/installs/hadoop3.1.4

export HIVE_HOME=/opt/installs/hive3.1.2

6，将mysql的驱动jar复制到sqoop的lib目录下 (底层需要用JDBC操作MySQL数据库)

[root@hadoop10 conf]# cp /opt/installs/sqoop/lib/mysql-connector-java-

8.0.26.jar /opt/installs/datax/lib/

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输

数据，叫做：导入，即使用import关键字。

1

[root@hadoop10 conf]# sqoop help

#会出现以下信息：

Available commands:

codegen      Generate code to interact with database records

create-hive-table Import a table definition into Hive

eval        Evaluate a SQL statement and display the results

export       Export an HDFS directory to a database table

help        List available commands

import       Import a table from a database to HDFS

import-all-tables Import tables from a database to HDFS

import-mainframe  Import datasets from a mainframe server to HDFS

job        Work with saved jobs

list-databases   List available databases on a server

list-tables    List available tables in a database

merge       Merge results of incremental imports

metastore     Run a standalone Sqoop metastore

version      Display version information

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

展示一个数据库中的所有数据库

[root@hadoop10 conf]# sqoop list-databases  \

--connect jdbc:mysql://192.168.75.12:3306/ \

--username root \

--password 123456

1

2

3

4

5

剩余15页未读，继续阅读

内容反馈

星夜读书人

粉丝: 16
资源: 1

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip