基于大数据的学生上网行为分析设计说明书

日益成为人们获取信息的重要渠道。学生用户使用搜索引擎查询一些信息的时候，

会产生相应的查询日志。而这些查询日志中包含着用户有用的信息，可以从这些信

息中分析出用户的真实需求及隐形需求。随着 Hadoop 分布式处理框架的兴起，给

海量用户上网日志的研究带来了巨大的希望。

志进行详细的分析，利用 hadoop 框架为基础，运用 HDFS 分布式文件系统存储日志

与 MapReduce 计算框架，同时配合可视化技术，设计了一个基于大数据的学生上网

行为分析系统。该系统主要包含了三个模块，日志分析模块，日志存储模块，可视

化展示模块。其中对日志的分析从四个维度进行，即学生用户搜索次数排行，关键

each other through the network for the exchange of information were frequent .

information .Student users using a search engine query some information will produce

the corresponding query log,And these user query log Which can analyze the user's real

demand and stealth requirements contains useful information.With the rise of the

Hadoop distributed processing framework, the massive user's web log research are of

great hope.

journals, this paper use the hadoop framework as the basis through a detailed analysis of

the user search log, and apply the hadoop distributed file system HDFS to storing log

and the graphs computing framework of MapReduce, at the same time cooperate with

Finally the feasibility of the system is verified by test.

Key words：hadooop , java ee , Query log , Student behavior analysis

1.1 研究背景及意义....................................................1

1.1.1 研究背景........................................................1

1.1.2 研究意义........................................................1

1.2 国内外研究现状....................................................1

1.3 论文主要工作......................................................2

3 学生行为分析系统总体设计............................................8

3.1 需求分析 .........................................................8

3.1.1 开发背景与目的..................................................8

3.1.2 系统功能需求分析................................................9

4 学生行为分析系统详细设计...........................................15

4.1 日志存储模块详细设计.............................................15

4.1.1 HDFS 分布式存储模块.............................................15

4.1.2 Mysql 数据库存储模块............................................16

4.2 日志分析模块详细设计.............................................18

4.2.1 学生搜索次数排行分析...........................................19

4.2.2 学生搜索关键词排行分析.........................................21

4.2.3 学生点击 URL 排行分析...........................................21

4.2.4 学生上网时间排行分析...........................................21

4.2.5 学生上网日期排行分析...........................................22

5.2.1 配置 java 环境..................................................26

5.2.2 配置 SSH 无密码登陆环境.........................................27

5.2.3 配置 hadoop 集群................................................29

5.2.4 配置 eclipse 编程环境...........................................32

5.3 实验过程与结果展示...............................................33

5.3.1 数据来源.......................................................33

5.3.2 数据导入展示...................................................34

5.3.3 登陆界面.......................................................36

5.3.4 实验数据分析展示...............................................37

结论.................................................................40