### DataX 数据同步部署知识点详解
#### 一、DataX简介
DataX 是一款轻量级离线数据同步工具，支持多种异构数据源之间的高效数据同步。它由阿里巴巴集团开发并开源，广泛应用于大数据处理场景下的数据迁移、ETL等任务。
#### 二、DataX部署步骤详解
**1. 下载DataX**
- **下载地址**：从提供的链接（<https://gitee.com/link?target=https%3A%2F%2Fdatax-opensource.oss-cn-hangzhou.aliyuncs.com%2F202308%2Fdatax.tar.gz>）下载DataX最新版本的压缩包。
- **注意事项**：确保下载的环境与实际运行环境兼容，比如Linux或Windows系统版本等。
**2. 上传至Linux服务器**
- **上传命令**：使用`rz`命令将下载的DataX压缩包上传到Linux服务器上。
- **解压命令**：通过`tar -zxvf datax.tar.gz`命令解压压缩包，如果需要指定解压路径，可以使用`tar -zxvf datax.tar.gz -C /path/to/directory`。
- **建议操作**：推荐直接解压到目标目录，避免后续的移动操作。
**3. 验证安装**
- **验证命令**：`python bin/datax.py job/job.json`。
- **问题排查**：如果执行该命令时出现错误提示，表明可能是Java环境未安装或配置不当。
- **解决方法**：
- **上传JAR文件**：如果服务器上缺少Java环境，需先上传Java JAR文件到服务器。
- **配置Java环境变量**：在`/etc/profile`文件中添加以下内容：
```bash
export JAVA_HOME=/home/java/jdk1.8.0_361
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
export PATH=$JAVA_HOME/bin:$PATH
```
- **使配置生效**：执行`source /etc/profile`命令使环境变量生效，并验证Java环境是否正确安装，可以通过`java -version`命令查看Java版本信息。
**4. 再次验证安装**
- **验证命令**：再次执行`python bin/datax.py job/job.json`。
- **预期结果**：如果一切正常，该命令应无任何错误提示，表示DataX安装完成。
#### 三、DataX配置示例
**1. SQL Server数据源配置**
- **配置示例**：
```json
{
"name": "sqlserverreader",
"parameter": {
"username": "",
"password": "",
"connection": [
{
"table": [],
"jdbcUrl": []
}
]
}
}
```
- **参数说明**：
- `username`: 数据库用户名。
- `password`: 数据库密码。
- `jdbcUrl`: JDBC连接字符串，格式为`jdbc:sqlserver://host:port;DatabaseName=dbname`。
- `table`: 指定读取的数据表名。
**2. MySQL数据源配置**
- **配置示例**：
```json
{
"name": "mysqlreader",
"parameter": {
"username": "",
"password": "",
"column": [],
"connection": [
{
"jdbcUrl": [],
"table": []
}
],
"where": ""
}
}
```
- **参数说明**：
- `username`: 数据库用户名。
- `password`: 数据库密码。
- `jdbcUrl`: JDBC连接字符串，格式为`jdbc:mysql://host:port/dbname`。
- `table`: 指定读取的数据表名。
- `where`: SQL查询条件。
**3. 启动脚本配置**
- **配置示例**：
```bash
python bin/datax.py job/warehouse-cq.json
```
- **问题排查**：如果启动时遇到问题，比如`url配置错误`，需要检查配置文件中的URL是否正确设置。
- **正确配置示例**：
```json
{
"job": {
"content": [
{
"reader": {
"name": "sqlserverreader",
"parameter": {
"connection": [
{
"jdbcUrl": ["jdbc:sqlserver://219.153.111.18:14337;DatabaseName=zr_1076"],
"querySql": ["SELECT a.spid as erp_product_id,a.ckid as warehouse_id,sum(a.shl) as stock_num FROM phspkc AS a LEFT JOIN zl_spzl zs ON a.spid = zs.spid LEFT JOIN phzykc AS b ON a.spid= b.spid AND a.jwhid= b.jwhid AND a.pici= b.pici AND a.hzid= b.hzid LEFT JOIN zl_Hzzl z on a.hzid = z.hzid INNER JOIN zl_ckzl AS c ON a.ckid= c.ckid LEFT JOIN ( SELECT hzid,spid,pici,jwhid,SUM(shl) AS shl FROM dszykc GROUP BY hzid,spid,pici,jwhid ) AS d ON a.spid= d.spid AND a.jwhid= d.jwhid AND a.pici= d.pici AND a.hzid= d.hzid WHERE 1=1 GROUP BY a.spid, a.ckid"]
}
]
}
}
}
]
}
}
```
- **注意事项**：确保`jdbcUrl`中的地址、端口以及数据库名称准确无误；`querySql`中的SQL语句语法正确且符合实际需求。
#### 四、总结
以上内容详细介绍了DataX的下载、安装及配置流程，并提供了具体的SQL Server和MySQL数据源配置示例。通过这些步骤，用户可以顺利完成DataX的部署，并实现不同数据源间的高效数据同步。对于实际部署过程中可能遇到的问题，文中也给出了相应的解决方案，帮助用户顺利解决问题。
