![Datax-logo](https://github.com/alibaba/DataX/blob/master/images/DataX-logo.jpg)
# DataX
[![Leaderboard](https://img.shields.io/badge/DataX-%E6%9F%A5%E7%9C%8B%E8%B4%A1%E7%8C%AE%E6%8E%92%E8%A1%8C%E6%A6%9C-orange)](https://opensource.alibaba.com/contribution_leaderboard/details?projectValue=datax)
DataX 是阿里云 [DataWorks数据集成](https://www.aliyun.com/product/bigdata/ide) 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
# DataX 商业版本
阿里云DataWorks数据集成是DataX团队在阿里云上的商业化产品,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动能力,以及繁杂业务背景下的数据同步解决方案。目前已经支持云上近3000家客户,单日同步数据超过3万亿条。DataWorks数据集成目前支持离线50+种数据源,可以进行整库迁移、批量上云、增量同步、分库分表等各类同步解决方案。2020年更新实时同步能力,支持10+种数据源的读写任意组合。提供MySQL,Oracle等多种数据源到阿里云MaxCompute,Hologres等大数据引擎的一键全增量同步解决方案。
商业版本参见: https://www.aliyun.com/product/bigdata/ide
# Features
DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
# DataX详细介绍
##### 请参考:[DataX-Introduction](https://github.com/alibaba/DataX/blob/master/introduction.md)
# Quick Start
##### Download [DataX下载地址](https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz)
##### 请点击:[Quick Start](https://github.com/alibaba/DataX/blob/master/userGuid.md)
# Support Data Channels
DataX目前已经有了比较全面的插件体系,主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入,目前支持数据如下图,详情请点击:[DataX数据源参考指南](https://github.com/alibaba/DataX/wiki/DataX-all-data-channels)
| 类型 | 数据源 | Reader(读) | Writer(写) | 文档 |
|--------------|---------------------------|:---------:|:---------:|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|
| RDBMS 关系型数据库 | MySQL | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md) |
| | Oracle | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/oraclereader/doc/oraclereader.md) 、[写](https://github.com/alibaba/DataX/blob/master/oraclewriter/doc/oraclewriter.md) |
| | OceanBase | √ | √ | [读](https://open.oceanbase.com/docs/community/oceanbase-database/V3.1.0/use-datax-to-full-migration-data-to-oceanbase) 、[写](https://open.oceanbase.com/docs/community/oceanbase-database/V3.1.0/use-datax-to-full-migration-data-to-oceanbase) |
| | SQLServer | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/sqlserverreader/doc/sqlserverreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/sqlserverwriter/doc/sqlserverwriter.md) |
| | PostgreSQL | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/postgresqlreader/doc/postgresqlreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/postgresqlwriter/doc/postgresqlwriter.md) |
| | DRDS | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/drdsreader/doc/drdsreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/drdswriter/doc/drdswriter.md) |
| | Kingbase | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/drdsreader/doc/drdsreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/drdswriter/doc/drdswriter.md) |
| | 通用RDBMS(支持所有关系型数据库) | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/rdbmsreader/doc/rdbmsreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/rdbmswriter/doc/rdbmswriter.md) |
| 阿里云数仓数据存储 | ODPS | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/odpsreader/doc/odpsreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/odpswriter/doc/odpswriter.md) |
| | ADB | | √ | [写](https://github.com/alibaba/DataX/blob/master/adbmysqlwriter/doc/adbmysqlwriter.md) |
| | ADS | | √ | [写](https://github.com/alibaba/DataX/blob/master/adswriter/doc/adswriter.md) |
| | OSS | √ | √ | [读](https://github.com/alibaba/DataX/blob/master/ossreader/doc/ossreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/osswriter/doc/osswriter.md) |
| | OCS | | √ | [写](https://github.com/alibaba/DataX/blob/master/ocswriter/doc/ocswriter.md) |
| | Hologres | | √ | [写](https://github.com/alibaba/DataX/blob/master/hologresjdbcwriter/doc/hologresjdbcwriter.md) |
| | AnalyticDB For PostgreSQL | | √ |
没有合适的资源?快使用搜索试试~ 我知道了~
基于datax源码修改-添加对瀚高-对excel文件-对api接口的支持-dataxCode-v1.1.1.zip
共1447个文件
java:802个
json:182个
xml:166个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 110 浏览量
2024-12-04
13:56:17
上传
评论
收藏 16.58MB ZIP 举报
温馨提示
此文件是我们基于datax的源码对datax进行了改造,主要增加了对瀚高数据库的支持,以及对excel文件的支持, 对api接口的支持,以用来实现可以从excel,以及http接口中直接和其他数据库之间同步数据. 来完善大数据采集功能.这样数据采集功能就可以同时,支持全量采集,增量采集,以及各种 数据源,datax既有支持的数据源,以及我们自己添加的插件. 瀚高数据库 excel文件 api接口 其中对excel文件的支持想textfilereader中,对api接口的支持是在jsonreader中实现的.
资源推荐
资源详情
资源评论
收起资源包目录
基于datax源码修改-添加对瀚高-对excel文件-对api接口的支持-dataxCode-v1.1.1.zip (1447个子文件)
weather.csv 736B
.gitkeep 0B
.gitkeep 0B
.gitkeep 0B
.gitkeep 0B
.gitkeep 0B
.gitkeep 0B
hbase11xsqlwriter.iml 16KB
hbase11xsqlreader.iml 16KB
hdfswriter.iml 16KB
osswriter.iml 10KB
ossreader.iml 9KB
mongodbwriter.iml 9KB
hbase11xreader.iml 9KB
hbase11xwriter.iml 8KB
plugin-unstructured-storage-util.iml 8KB
mongodbreader.iml 8KB
ftpwriter.iml 8KB
txtfilereader.iml 8KB
txtfilewriter.iml 8KB
ftpreader.iml 8KB
hbase094xwriter.iml 8KB
hbase094xreader.iml 8KB
adswriter.iml 6KB
odpswriter.iml 5KB
odpsreader.iml 5KB
tdenginereader.iml 5KB
gdbreader.iml 5KB
cassandrareader.iml 5KB
cassandrawriter.iml 5KB
datax-example-neo4j.iml 5KB
gdbwriter.iml 4KB
clickhousereader.iml 4KB
tdenginewriter.iml 4KB
hbase20xsqlreader.iml 4KB
clickhousewriter.iml 4KB
opentsdbreader.iml 4KB
datax-core.iml 4KB
otsreader.iml 4KB
otswriter.iml 4KB
datahubwriter.iml 4KB
datahubreader.iml 4KB
databendwriter.iml 4KB
adbpgwriter.iml 4KB
otsstreamreader.iml 4KB
ocswriter.iml 4KB
oceanbasev10writer.iml 4KB
jsonreader.iml 3KB
kuduwriter.iml 3KB
hbase20xsqlwriter.iml 3KB
datax-example-streamreader.iml 3KB
selectdbwriter.iml 3KB
rdbmswriter.iml 3KB
rdbmsreader.iml 3KB
datax-example-core.iml 3KB
neo4jwriter.iml 3KB
loghubreader.iml 3KB
loghubwriter.iml 3KB
starrockswriter.iml 3KB
doriswriter.iml 3KB
datax-example.iml 3KB
oceanbasev10reader.iml 3KB
kingbaseesreader.iml 3KB
kingbaseeswriter.iml 3KB
plugin-rdbms-util.iml 3KB
elasticsearchwriter.iml 3KB
postgresqlreader.iml 3KB
postgresqlwriter.iml 3KB
hologresjdbcwriter.iml 3KB
sqlserverreader.iml 3KB
sqlserverwriter.iml 3KB
gaussdbreader.iml 3KB
gaussdbwriter.iml 3KB
drdsreader.iml 3KB
drdswriter.iml 3KB
mysqlwriter.iml 3KB
mysqlreader.iml 3KB
starrocksreader.iml 3KB
oraclewriter.iml 3KB
oraclereader.iml 3KB
highgoreader.iml 3KB
highgowriter.iml 3KB
oscarwriter.iml 3KB
adbmysqlwriter.iml 3KB
tsdbwriter.iml 2KB
tsdbreader.iml 2KB
datax-common.iml 2KB
streamreader.iml 2KB
streamwriter.iml 2KB
datax-transformer.iml 1KB
oceanbase-client-1.1.10.jar 3.39MB
oceanbase-client-1.1.10.jar 3.39MB
oceanbase-connector-java-3.2.0.jar 2.61MB
shade-ob-partition-calculator-1.0-SNAPSHOT.jar 1.37MB
jconn3-1.0.0-SNAPSHOT.jar 983KB
jconn3-1.0.0-SNAPSHOT.jar 983KB
kingbase8-8.2.0.jar 793KB
kingbase8-8.2.0.jar 793KB
edb-jdbc16.jar 652KB
edb-jdbc16.jar 652KB
共 1447 条
- 1
- 2
- 3
- 4
- 5
- 6
- 15
资源评论
添柴程序猿
- 粉丝: 3708
- 资源: 93
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- Matlab_从EBSD数据生成二维网格的Matlab工具箱.zip
- Matlab_此资源库包含数据科学计算方法课程的课堂讲稿和代码.zip
- Matlab_此文件夹包含使用深度神经网络dnn的监督语音分离工具箱的Matlab程序.zip
- Matlab_从Matlab中控制HFSS的HFSS API.zip
- Matlab_从rgb多光谱图像估计高光谱数据的Matlab代码.zip
- Matlab_从闭路电视摄像机馈送的人体跌倒检测.zip
- Matlab_从有向网络或两两比较中计算springgrank.zip
- Matlab_从二维图像中学习动物三维变形的Matlab实现.zip
- Matlab_从卫星传输到接收机位置计算的全GPS堆栈仿真.zip
- Matlab_Matlab和机器人代码的MTE 544自主移动机器人在滑铁卢大学.zip
- Matlab_Matlab几何工具箱,用于2D3D几何计算.zip
- Matlab_Matlab计算机视觉与深度学习实战代码.zip
- Matlab_Matlab脚本读取和写入MIDI文件.zip
- Matlab_Matlab接口Stan的一个贝叶斯推理包.zip
- Matlab_Matlab脚本随书介绍音频内容分析.zip
- Matlab_Matlab接口的稀疏非线性优化器SNOPT.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功