离线采集工具Sqoop文档.doc
需积分: 34 133 浏览量
2021-04-01
09:54:47
上传
评论
收藏 1000KB DOC 举报
Sqoop 调研文档
.1 版本迭代
文档版本 撰写时间 撰写人 属性 审核人
调研文档
.2 Sqoop 简介
旨在协助 与 之间进行高效的大数据交流，是连接关系型数据库
和 的桥梁，主要有两个方面导入和导出，可以把关系型数据库的数据导入到
与其相关的系统如 和 中；同时也可以把数据从系统里抽取并
导出到关系型数据库里。
是一个在结构化数据和 之间进行批量数据迁移的工具，结构化数据可以
是 、 !"#$ 等 。 底 层 用 # 程 序 实 现 抽 取 、 转 换 、 加 载 ，
# 天生的特性保证了并行化和高容错率。
如果要用 ，必须正确安装并配置 ，因依赖于本地的 环境启动
程序； 、!"#$ 等数据库的 %& 驱动也要放到 的 $' 目录下。
.3 Sqoop 产生原因
大多数使用 技术的处理大数据业务的企业，有大量的数据存储在关系型数据库
中。由于没有工具支持，对 和关系型数据库之间数据传输是一个很困难的事。
.4 Sqoop 优点
可以高效、可控的利用资源，可以通过调整任务数来控制任务的并发度。
可以自动的完成数据映射和转换。由于导入数据库是有类型的，它可以自动根据数据库
中的类型转换到 中，当然用户也可以自定义它们之间的映射关系。
支持多种数据库，如 $，"#$ 等数据库。
剩余16页未读，继续阅读
资源评论
