Spring Batch读取txt文件并写入数据库的方法教程

主要给大家介绍了Spring Batch读取txt文件并写入数据库的方法，SpringBatch 是一个轻量级、全面的批处理框架。这里我们用它来实现文件的读取并将读取的结果作处理，处理之后再写入数据库中的功能。需要的朋友可以参考借鉴，下面来一起看看吧。 Spring Batch 是一个强大的批处理框架，它为处理大量数据提供了灵活和可扩展的解决方案。在本教程中，我们将探讨如何使用 Spring Batch 读取文本（txt）文件，并将读取到的数据处理后写入数据库。 我们需要创建一个 Maven 项目，并在 `pom.xml` 文件中添加必要的依赖。这些依赖包括 `spring-boot-starter-batch` 用于 Spring Batch 的核心功能，`spring-boot-starter-data-jpa` 用于与数据库交互，以及 `mysql-connector-java` 和 `druid` 用于连接 MySQL 数据库。其他依赖如 MyBatis 和 Lombok 提供额外的工具支持。 接下来，我们需要定义模型类（Model Class），这通常对应于数据库中的表结构。假设我们的文本文件包含用户 ID（u_id）、用户名（username）和用户兴趣（interests）等字段，我们可以创建如下的 Java 类： ```java @Data // 使用 Lombok 的注解简化代码 public class User { private Long uId; private String username; private List<String> interests; } ``` 在 Spring Batch 中，我们使用 ItemReader 读取数据，ItemProcessor 处理数据，最后由 ItemWriter 将处理后的数据写入数据库。以下是一个简单的实现： 1. 创建自定义的 `FlatFileItemReader` 来读取文本文件： ```java @Configuration public class BatchConfig { @Bean public FlatFileItemReader<User> reader() { DelimitedLineTokenizer tokenizer = new DelimitedLineTokenizer(); tokenizer.setNames(new String[]{"u_id", "username", "interests"}); DefaultLineMapper<User> lineMapper = new DefaultLineMapper<>(); lineMapper.setFieldSetMapper(new BeanWrapperFieldSetMapper<User>() {{ setTargetType(User.class); }}); lineMapper.setLineTokenizer(tokenizer); return new FlatFileItemReaderBuilder<User>() .name("userReader") .resource(new ClassPathResource("data.txt")) // 替换为实际文件路径 .lineMapper(lineMapper) .build(); } } ``` 这里，我们配置了分隔符解析器（tokenizer）来解析每一行的数据，并通过 BeanWrapperFieldSetMapper 映射到 User 对象。 2. 定义 `ItemProcessor` 来处理数据： ```java @Component public class UserDataProcessor implements ItemProcessor<User, User> { @Override public User process(User user) throws Exception { // 在这里处理数据，例如去除特殊符号，截取过长的字符串等 user.setUsername(user.getUsername().trim()); if (user.getInterests() != null) { user.setInterests(user.getInterests().stream().map(String::trim).collect(Collectors.toList())); } return user; } } ``` 在这个处理器中，我们对用户输入进行清洗，如去除用户名和兴趣列表中的空格。 3. 创建 `JdbcBatchItemWriter` 来写入数据库： ```java @Configuration public class BatchConfig { @Autowired private JdbcTemplate jdbcTemplate; @Bean public JdbcBatchItemWriter<User> writer() { return new JdbcBatchItemWriterBuilder<User>() .itemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterSourceProvider<>()) .sql("INSERT INTO users (u_id, username, interests) VALUES (:uId, :username, :interests)") .dataSource(jdbcTemplate.getDataSource()) .build(); } } ``` 这里，我们使用 JdbcBatchItemWriter 将处理后的 User 对象批量写入数据库。SQL 语句用于插入新的记录。 4. 定义一个 Job 和 Step： ```java @Configuration @EnableBatchProcessing public class BatchConfig { @Autowired public JobBuilderFactory jobBuilderFactory; @Autowired public StepBuilderFactory stepBuilderFactory; @Bean public Job readTxtAndWriteToDBJob() { return jobBuilderFactory.get("readTxtAndWriteToDBJob") .incrementer(new RunIdIncrementer()) .flow(readAndProcessStep()) .end() .build(); } @Bean public Step readAndProcessStep() { return stepBuilderFactory.get("readAndProcessStep") .<User, User>chunk(100) // 设置批处理大小 .reader(reader()) .processor(userDataProcessor()) .writer(writer()) .build(); } } ``` 定义了一个 Job（读取和写入数据的作业）和一个 Step（读取、处理和写入数据的过程）。在这里，我们设置了批处理的大小为 100，这意味着每次处理 100 条记录。 现在，当你运行这个 Spring Boot 应用时，Spring Batch 将按照定义的流程读取文本文件，处理数据，然后将其写入数据库。这个过程是高度可配置的，可以根据具体需求进行调整，比如增加错误处理、日志记录、事务管理等功能。 Spring Batch 提供了一套完整的框架来处理批量数据操作，它的灵活性和模块化设计使得我们可以方便地构建复杂的数据处理流程。在上述示例中，我们仅展示了最基础的用法，但实际应用中可以根据需要扩展更多的功能。