数据据表列比较工具，输出差集

package com.goldendb.tool; import com.goldendb.tool.bean.RowIdRange; import com.goldendb.tool.bean.RowIdStatistics; import com.goldendb.tool.constant.DbTypeEnum; import com.goldendb.tool.dao.RowIdDao; import com.goldendb.tool.service.RowIdRangeCalculateService; import com.goldendb.tool.task.RowIdDifferTaskRunner; import com.google.common.base.Stopwatch; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.util.Set; import java.util.concurrent.TimeUnit; import java.util.stream.Collectors; import java.util.stream.Stream; /** * Life is more than coding... * * Date 2023-03-18 23:13 星期六 * Author LHL */ public class ColumnDifferTool { private static final Logger LOGGER = LoggerFactory.getLogger(ColumnDifferTool.class); public static void main(String[] args) { args = new String[]{"test", "t1"}; if (args == null || args.length < 2) { System.out.println("参数缺失。参数1: 库名; 参数2: 表名。"); return; } String schema = args[0]; String tableName = args[1]; LOGGER.info("==========rowID differ task START=========="); Stopwatch stopwatch = Stopwatch.createStarted(); /* 1. 查询 oracle、goldenDB 两个表中数据总行数、rowID 的最小最大值。*/ RowIdDao rowIdDao = new RowIdDao(); RowIdStatistics oracleStatistics = rowIdDao.queryStatisticsInfo(DbTypeEnum.ORACLE, schema, tableName); RowIdStatistics goldendbStatistics = rowIdDao.queryStatisticsInfo(DbTypeEnum.MYSQL, schema, tableName); /* 2. 计算 oracle、goldenDB 两个表中 rowID 公共部分的起、止值，记为 x 和 y。 * 此范围之外的值可以直接查询出来放到统计结果中。 * (a). -------------------- * ---------- * * (b). x y * |-----|--------------- * -----|-----| * * (c). x y * -----|----------|----- * |----------| * * (d). x y * |----------| * -----|----------|----- * * (e). x y * ---------------|-----| * |-----|----- * * (f). -------------------- * ---------- */ RowIdRange rowIdRange = new RowIdRangeCalculateService() .calculate(oracleStatistics, goldendbStatistics, schema, tableName); /* 3. 分页查询两表 [x, y] 范围之外的 rowID, 计入统计结果中. */ // 上一步已经查了。 /* 4. 二分法同时查询 [x, y] 范围内两表内的 rowID, 只要有一张表的数据量超过 1w 行就两表同时切分成子任务。 * 每个子任务并行执行，子任务的工作是并发查询两个表，然后筛选出不同的 rowID 放到 Set 中，并返回 Set。 * 最终的结果集是子任务的结果并集，加上第 3 步中的结果。 */ Set<Long> diffRowIdSet = new RowIdDifferTaskRunner().run(schema, tableName, rowIdRange.getStart(), rowIdRange.getEnd()); /* 5. 生成最终结果并打印 */ Set<Long> result = Stream.concat(diffRowIdSet.stream(), rowIdRange.getOutOfRange().stream()).collect(Collectors.toSet()); LOGGER.info("==========rowID differ task END, time elapsed: {}s, result: {}==========", stopwatch.elapsed(TimeUnit.SECONDS), result); stopwatch.stop(); } }