一个基于easyexcel大数据量数据导入导出异步处理组件.zip

# async-excel 一个基于easyexcel大数据量数据导入导出异步处理组件，如果你觉得对你有帮助，请点击右上角的star，支持下 ## asyncexcel介绍 + 1、asyncexcel基于阿里的easyexcel包装，抽取异步骨架，不改变easyexcel的特性 支持的功能列表： + 支持线程池外部声明，可传入SystemContext; + 仅支持单行表头 + 支持表头校验 + 支持格式转换错误校验出错写入错误文件 + 支持业务错误写出错误文件 + 支持行数限制 + 支持不分页事务 + 支持查看进度 + 支持异步分批次导入导出，分页大小可自定义 + 支持动态表头导出 + 支持多租户隔离 + 支持多模块隔离 + 支持用户权限隔离 + 支持自定义存储，如果不设置默认使用本地存储，存储路径/tmp/upload 如果自定义只要实现接口IStorageService 实现String write(String name, InputStream data)方法即可 声明成bean即可 ### 快速开始 引入starter ```xml <dependency> <groupId>com.asyncexcel</groupId> <artifactId>async-excel-springboot-starter</artifactId> <version>1.0.0</version> </dependency> <!--mybatis-plus--> <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>3.5.2</version> </dependency> <!--mysql驱动--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.29</version> </dependency> ``` 导入数据库 ```sql drop table if exists excel_task; CREATE TABLE `excel_task` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键id', `type` tinyint(2) NOT NULL COMMENT '类型：1-导入,2-导出', `status` tinyint(2) NOT NULL DEFAULT 0 COMMENT '状态：0-初始,1-进行中,2-完成,3-失败', `estimate_count` bigint(20) NOT NULL DEFAULT 0 COMMENT '预估总记录数', `total_count` bigint(20) NOT NULL DEFAULT 0 COMMENT '实际总记录数', `success_count` bigint(20) NOT NULL DEFAULT 0 COMMENT '成功记录数', `failed_count` bigint(20) NOT NULL DEFAULT 0 COMMENT '失败记录数', `file_name` varchar(200) DEFAULT NULL COMMENT '文件名', `file_url` varchar(500) DEFAULT NULL COMMENT '文件路径', `failed_file_url` varchar(500) DEFAULT NULL COMMENT '失败文件路径', `failed_message` varchar(255) DEFAULT NULL COMMENT '失败消息', `start_time` datetime DEFAULT NULL COMMENT '开始时间', `end_time` datetime DEFAULT NULL COMMENT '结束时间', `tenant_code` varchar(50) default NULL COMMENT '租户编码', `create_user_code` varchar(50) default NULL COMMENT '用户编码', `business_code` varchar(50) default NULL COMMENT '业务编码', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COMMENT='导入导出任务'; ``` 配置数据源(此处为多数据源，使用了spring 父子容器技术，所以不影响你原本的数据源) ```properties #asyncexcel 数据源 spring.excel.datasource.url=jdbc:mysql://localhost:3306/async-excel?serverTimezone=GMT%2B8&autoReconnect=true&allowMultiQueries=true&useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false&&useCursorFetch=true&&rewriteBatchedStatements=true spring.excel.datasource.driver-class-name=com.mysql.cj.jdbc.Driver spring.excel.datasource.password=root spring.excel.datasource.username=root #业务数据源 spring.datasource.url=jdbc:mysql://localhost:3306/async-excel-sample?serverTimezone=GMT%2B8&autoReconnect=true&allowMultiQueries=true&useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false&&useCursorFetch=true&&rewriteBatchedStatements=true spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver spring.datasource.password=root spring.datasource.username=root ``` 使用@EnableAsyncExcel注解启用配置 ```java @SpringBootApplication @EnableAsyncExcel @MapperScan({"com.asyncexcel.sample.mapper"}) public class AsyncExcelSampleApplication { public static void main(String[] args) { SpringApplication.run(AsyncExcelSampleApplication.class, args); } } ``` 编写极简示例 [示例项目 async-excel-sample](https://github.com/2229499815/async-excel-sample) 欢迎添加使用示例 ```java @RestController @RequestMapping("/user") public class UserController { @Resource ExcelService excelService; //导入最简示例 @PostMapping("/imports") public Long imports(@RequestBody MultipartFile file) throws Exception{ DataImportParam dataImportParam = new DataImportParam() .setStream(file.getInputStream()) .setModel(UserImportModel.class) .setBatchSize(3) .setFilename("用户导入"); Long taskId = excelService.doImport(UserImportHandler.class, dataImportParam); return taskId; } //导出最简示例 @PostMapping("/exports") public Long exports(){ DataExportParam dataExportParam=new DataExportParam() .setExportFileName("用户导出") .setLimit(5) .setHeadClass(UserExportModel.class); return excelService.doExport(UserExportHandler.class,dataExportParam); } } ``` 导入导出model ```java @Data public class UserExportModel extends ExportRow { @ExcelProperty("用户编码") private String userCode; @ExcelProperty("用户姓名") private String userName; @ExcelProperty("手机号") private String mobile; @ExcelProperty("备注") private String remarks; } ``` ```java @Data public class UserImportModel extends ImportRow { @ExcelProperty("用户编码") private String userCode; @ExcelProperty("用户姓名") private String userName; @ExcelProperty("手机号") private String mobile; @ExcelProperty("备注") private String remarks; } ``` 编写导入导出处理类 ```java @ExcelHandle public class UserExportHandler implements ExportHandler<UserExportModel> { @Autowired IUserService userService; @Override public ExportPage<UserExportModel> exportData(int startPage, int limit, DataExportParam dataExportParam) { IPage<User> iPage = new Page<>(startPage, limit); IPage page = userService.page(iPage); List<UserExportModel> list = ExportListUtil.transform(page.getRecords(), UserExportModel.class); ExportPage<UserExportModel> result = new ExportPage<>(); result.setTotal(page.getTotal()); result.setCurrent(page.getCurrent()); result.setSize(page.getSize()); result.setRecords(list); return result; } } ``` ```java @ExcelHandle public class UserImportHandler implements ImportHandler<UserImportModel> { @Autowired IUserService userService; @Override public List<ErrorMsg> importData(List<UserImportModel> list, DataImportParam dataImportParam) throws Exception { List<ErrorMsg> errorList=new ArrayList<>(); List<User> saveUsers=new ArrayList<>(); for (UserImportModel userImportModel : list) { if (userImportModel.getMobile().contains("00000000")){ ErrorMsg msg = new ErrorMsg(userImportModel.getRow(), "手机号包含太多0"); errorList.add(msg); }else{ BeanCopier beanCopier = BeanCopier.create(UserImportModel.class, User.class, false); User user = new User(); beanCopier.copy(userImportModel,user,null); saveUsers.add(user); } } userService.saveBatch(saveUsers); return errorList; } } ``` 编写前端页面   ### 高级功能 #### 自定义存储 假如你已经对接好了第三方的存储比如oss、cos，七牛云存储等 你只需要在你的项目中实现IStorageService 接口