![Datax-logo](https://github.com/alibaba/DataX/blob/master/images/DataX-logo.jpg)
# DataX
[![Leaderboard](https://img.shields.io/badge/DataX-%E6%9F%A5%E7%9C%8B%E8%B4%A1%E7%8C%AE%E6%8E%92%E8%A1%8C%E6%A6%9C-orange)](https://opensource.alibaba.com/contribution_leaderboard/details?projectValue=datax)
DataX 是阿里云 [DataWorks数据集成](https://www.aliyun.com/product/bigdata/ide) 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
# DataX 商业版本
阿里云DataWorks数据集成是DataX团队在阿里云上的商业化产品,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动能力,以及繁杂业务背景下的数据同步解决方案。目前已经支持云上近3000家客户,单日同步数据超过3万亿条。DataWorks数据集成目前支持离线50+种数据源,可以进行整库迁移、批量上云、增量同步、分库分表等各类同步解决方案。2020年更新实时同步能力,支持10+种数据源的读写任意组合。提供MySQL,Oracle等多种数据源到阿里云MaxCompute,Hologres等大数据引擎的一键全增量同步解决方案。
商业版本参见: https://www.aliyun.com/product/bigdata/ide
# Features
DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
# DataX详细介绍
##### 请参考:[DataX-Introduction](https://github.com/alibaba/DataX/blob/master/introduction.md)
# Quick Start
##### Download [DataX下载地址](https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202303/datax.tar.gz)
##### 请点击:[Quick Start](https://github.com/alibaba/DataX/blob/master/userGuid.md)
# Support Data Channels
DataX目前已经有了比较全面的插件体系,主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入,目前支持数据如下图,详情请点击:[DataX数据源参考指南](https://github.com/alibaba/DataX/wiki/DataX-all-data-channels)
| 类型 | 数据源 | Reader(读) | Writer(写) | 文档 |
|--------------|---------------------------|:---------:|:---------:|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|
| RDBMS 关系型数据库 | MySQL | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md) |
| | Oracle | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/oraclereader/doc/oraclereader.md) 、[写](https://github.com/alibaba/DataX/blob/master/oraclewriter/doc/oraclewriter.md) |
| | OceanBase | √ | √ | [读](https://open.oceanbase.com/docs/community/oceanbase-database/V3.1.0/use-datax-to-full-migration-data-to-oceanbase) 、[写](https://open.oceanbase.com/docs/community/oceanbase-database/V3.1.0/use-datax-to-full-migration-data-to-oceanbase) |
| | SQLServer | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/sqlserverreader/doc/sqlserverreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/sqlserverwriter/doc/sqlserverwriter.md) |
| | PostgreSQL | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/postgresqlreader/doc/postgresqlreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/postgresqlwriter/doc/postgresqlwriter.md) |
| | DRDS | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/drdsreader/doc/drdsreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/drdswriter/doc/drdswriter.md) |
| | Kingbase | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/drdsreader/doc/drdsreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/drdswriter/doc/drdswriter.md) |
| | 通用RDBMS(支持所有关系型数据库) | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/rdbmsreader/doc/rdbmsreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/rdbmswriter/doc/rdbmswriter.md) |
| 阿里云数仓数据存储 | ODPS | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/odpsreader/doc/odpsreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/odpswriter/doc/odpswriter.md) |
| | ADB | | √ | [写](https://github.com/alibaba/DataX/blob/master/adbmysqlwriter/doc/adbmysqlwriter.md) |
| | ADS | | √ | [写](https://github.com/alibaba/DataX/blob/master/adswriter/doc/adswriter.md) |
| | OSS | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/ossreader/doc/ossreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/osswriter/doc/osswriter.md) |
| | OCS | | √ | [写](https://github.com/alibaba/DataX/blob/master/ocswriter/doc/ocswriter.md) |
| | Hologres | | √ | [写](https://github.com/alibaba/DataX/blob/master/hologresjdbcwriter/doc/hologresjdbcwriter.md) |
| | AnalyticDB For PostgreSQL | | √ | 写 |
| 阿里云�
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
资源推荐
资源详情
资源评论
收起资源包目录
DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台 (1193个子文件)
weather.csv 736B
.gitignore 2KB
.gitkeep 0B
.gitkeep 0B
.gitkeep 0B
.gitkeep 0B
.gitkeep 0B
.gitkeep 0B
oceanbase-client-1.1.10.jar 3.39MB
oceanbase-client-1.1.10.jar 3.39MB
oceanbase-connector-java-3.2.0.jar 2.61MB
jconn3-1.0.0-SNAPSHOT.jar 983KB
jconn3-1.0.0-SNAPSHOT.jar 983KB
kingbase8-8.2.0.jar 793KB
kingbase8-8.2.0.jar 793KB
edb-jdbc16.jar 652KB
edb-jdbc16.jar 652KB
OssWriter.java 62KB
ElasticSearchWriter.java 55KB
OdpsUtil.java 44KB
OdpsWriterProxy.java 40KB
JobContainer.java 39KB
OdpsWriter.java 39KB
ObReaderUtils.java 39KB
ReaderProxy.java 38KB
DBUtil.java 33KB
DFSUtil.java 32KB
Configuration.java 31KB
HdfsHelper.java 30KB
AdsInsertProxy.java 30KB
UnstructuredStorageReaderUtil.java 28KB
PerfTrace.java 27KB
CommonRdbmsWriter.java 26KB
OdpsReader.java 25KB
TaskGroupContainer.java 25KB
LogHubReader.java 24KB
DefaultDataHandler.java 24KB
OssReader.java 24KB
OdpsUtil.java 22KB
Hbase11xHelper.java 22KB
HdfsWriter.java 20KB
ObWriterUtils.java 20KB
Hbase094xHelper.java 20KB
AdsWriter.java 20KB
HBase20SQLReaderHelper.java 19KB
SingleTableSplitUtil.java 19KB
CassandraReaderHelper.java 18KB
MongoDBWriter.java 18KB
ConcurrentTableWriterTask.java 18KB
BaseWriter.java 18KB
TSDBWriter.java 18KB
OssSplitUtil.java 18KB
SecretUtil.java 17KB
TSDBReader.java 17KB
VMInfo.java 17KB
Kudu11xHelper.java 17KB
TSDBDump.java 16KB
AdsHelper.java 16KB
DatahubWriter.java 16KB
CheckpointTimeTracker.java 16KB
TxtFileWriter.java 15KB
OTSStreamReaderSlaveProxy.java 15KB
Hbase11xHelper.java 15KB
CommonRdbmsReader.java 15KB
HBase20xSQLWriterTask.java 15KB
UnstructuredStorageWriterUtil.java 14KB
StarRocksStreamLoadVisitor.java 14KB
HbaseSQLWriterTask.java 14KB
StandardFtpHelperImpl.java 14KB
TxtFileReader.java 14KB
ReaderTask.java 14KB
StreamReader.java 14KB
FtpWriter.java 13KB
OcsWriter.java 13KB
DatahubReader.java 13KB
HbaseSQLHelper.java 13KB
ColumnDataType.java 13KB
OriginalConfPretreatmentUtil.java 13KB
HdfsReader.java 13KB
LogHubWriter.java 13KB
Hbase094xHelper.java 13KB
DefaultDataHandlerTest.java 13KB
SftpHelperImpl.java 13KB
RangeSplit.java 13KB
OTSStreamReaderConfig.java 12KB
CommunicationTool.java 12KB
ParquetFileSupport.java 12KB
ElasticSearchClient.java 12KB
TDengineReader.java 12KB
DatabendWriter.java 11KB
RecordProcessor.java 11KB
DorisStreamLoadObserver.java 11KB
ClickhouseWriter.java 11KB
ThinClientPTable.java 10KB
OceanBaseV10Writer.java 10KB
RdbmsException.java 10KB
SftpHelper.java 10KB
FilterTransformer.java 10KB
SelectdbCopyIntoObserver.java 10KB
MongoDBReader.java 10KB
共 1193 条
- 1
- 2
- 3
- 4
- 5
- 6
- 12
资源评论
孤独的深山老人
- 粉丝: 67
- 资源: 32
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 111111111111111111
- Screenshot_2024-04-30-21-47-24-26.jpg
- Cpp1.cpp1111111111
- 利用ERP流程操作的整个订单流程.ppt
- 最新二开版本源码博客论坛源码,UI很漂亮,可切换皮肤界面.rar
- ModStartBlog现代化个人博客系统 v5.2.0源码.rar
- 带posix库的mingw编译器
- SoraAI是一款功能强大的AI助手,由OpenAI开发,以其出色的语音识别技术、广泛的知识库和高度的人工智能特性而备受瞩目
- Thinkphp开发大气响应式个人博客青春博客网站源码.rar
- 最新PHP博客网站程序源码 ThinkPHP.rar
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功