Hadoop 分析统计学生考试成绩1
需积分: 0 55 浏览量
2022-08-08
19:13:46
上传
评论 5
收藏 35KB DOCX 举报
Hadoop 分析统计学生考试成绩
1. 开发环境：
a) Win 10 64 位 / macOS High Sierra 10.13.3
b) Java 1.8.0_162 64 位
c) Intellij IDEA 2017.3
d) Maven （Intellij 已经集成的）
e) MySQL 5.7.20
为保证正确运行，请尽量使用相同的开发环境，Java 9 的支持还有些问题。理论上支
持 Linux 等其他环境。
2. 项目结构（Maven 构建，可以直接导入）：
导入项目时，在 Intellij IDEA 中直接选择打开，如果是 Eclipse，可以选择 Import
maven project。之后会自动下载配置，需要等待较长一段时间，等待下载完成。
a) src 文件夹，项目代码，下面详细解释
b) target 文件夹，Maven 生成的项目 class 文件
c) pox.xml，Maven 的配置文件，自动下载各种 lib
d) hadoop.iml，Intellij 中，该项目的配置文件
e) hadoop.log 日志记录文件
f) database.sql 是建立数据库的脚本
g) input 为格式化后的 Hadoop 的输入文件，output 为输出，raw 中存放原始数据
3. 代码文件说明
介绍一下主要的项目代码文件
a) src/main/java/com/example/hadoop/db 中，DBTools.java 是关于数据库的一些操作，
DBEntity.java 定义了一个数据库实体的类，方便数据相关的操作
b) src/main/java/com/example/hadoop/mapreduce 中 ， 是 MapReduce Job 的 实 现 ，
WordCount.java 是一个测试文件，与本项目无关。GradeMapper.java 是 Mapper
的 设 计 ， GradeReducer.java 是 Reducer 的 设 计 ， Grade.java 是 运 行 这 个
MapReduce Task 的入口
c) src/main/java/com/example/controllers 中，是基于 Spring Boot + Thymeleaf 渲染实
现的 Web 项目，HomeController.java 是处理用户的查询请求的后台逻辑，
CompareController.java 是处理用户进行成绩对比的后台逻辑
d) src/main/java/com/example/preprocess 中，完成了从 xml 文件转化成方便 Hadoop
处理的 csv 文件的工作，属于预处理阶段
e) HadoopApplication.java 是整个项目运行的入口，具体使用方式可以看里面的注释，
运行 Web 项目或只是本地测试。
一下是一些其他的资源文件：
f) src/main/resources 一些资源文件、项目配置和 Web 项目的静态资源
图像车间
- 粉丝: 22
- 资源: 298
评论0