Spring Batch读取txt文件并写入数据库的方法教程
156 浏览量
2020-08-30
16:29:51
上传
评论 1
收藏 184KB PDF 举报
Spring Batch读取读取txt文件并写入数据库的方法教程文件并写入数据库的方法教程
主要给大家介绍了Spring Batch读取txt文件并写入数据库的方法，SpringBatch 是一个轻量级、全面的批处理框
架。这里我们用它来实现文件的读取并将读取的结果作处理，处理之后再写入数据库中的功能。需要的朋友可
以参考借鉴，下面来一起看看吧。
项目需求项目需求
近日需要实现用户推荐相关的功能，也就是说向用户推荐他可能喜欢的东西。
我们的数据分析工程师会将用户以及用户可能喜欢的东西整理成文档给我，我只需要将数据从文档中读取出来，然后对数据进
行进一步的清洗（例如去掉特殊符号，长度如果太长则截取）。然后将处理后的数据存入数据库（Mysql）。
所以分为三步：
读取文档获得数据
对获得的数据进行处理
更新数据库（新增或更新）
考虑到这个数据量以后会越来越大，这里没有使用 poi 来读取数据，而直接使用了 SpringBatch。
实现步骤实现步骤
本文假设读者已经能够使用 SpringBoot 连接处理 Mysql，所以这部分文中会省略。
1、创建、创建 Maven 项目，并在项目，并在 pom.xml 中添加依赖中添加依赖
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>1.5.2.RELEASE</version>
</parent>
<properties>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-batch</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-jpa</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.mybatis.spring.boot</groupId>
<artifactId>mybatis-spring-boot-starter</artifactId>
<version>1.2.0</version>
</dependency>
<!-- 工具类依赖-->
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.12.6</version>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang3</artifactId>
<version>3.4</version>
</dependency>
<!-- 数据库相关依赖 -->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
<version>1.0.26</version>
</dependency>
资源评论
