1、datax3.0部署与验证

datax

etl

hdfs

需积分: 0 4 下载量 196 浏览量 2023-05-29 10:23:14 上传评论收藏 651KB PDF 举报

温馨提示

试读

13页

1、datax3.0部署与验证网址：https://blog.csdn.net/chenwewi520feng/article/details/130508837 介绍datax3.0功能与部署以及验证

资源推荐

资源详情

资源评论

DataX3.0系列文章  
1、datax3.0部署与验证 
2、mysql相关同步-mysql同步到mysql、mysql和hdfs相互同步 
3、oracle相关同步-oracle到hdfs 
4、sybase相关同步-sybase到hdfs 
5、ETL工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldeng
@TOC
本文主要是介绍datax3.0功能与部署，为该系列文章打下基础。 
本文分为四部分，即介绍、部署、验证与运行示例。
一、介绍  
DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/
平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、
HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之
间高效的数据同步功能。
DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及
向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时
DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互
通。