
文章针对国内目前高校智慧化校园中存在的信息数据处理问题,运用新兴大
数据技术,设计开发智慧校园中的数据服务平台,着力解决各高校信息孤岛问题,
通过对高校各系统数据的整合、分析、挖掘,为高校提供精准的辅助决策数据和
分析报告,主要包括海量、多样的高校大数据的采集、清洗、计算与分析,海量
高校大数据的动态图表与可视化报告以及通过人工智能手段进行数据挖掘等功
能。
為了解决传统手段难以满足高校对信息化辅助管理决策的新需求,数据处理
和存储效率低下及建设门槛和成本高的问题,平台先利用流式架构整合智慧校园
中的各类关系型和非关系型数据,研究多种异构数据源数据的统一采集、汇聚和
存储及快速访问。在此基础上结合校园业务应用场景,利用机器学习框架,构建
特征模型,对数据进行监督和非监督训练,确定其间的关联关系并作出预测判断。
实现对学校内所有数据资源的统一、科学的组织与管理,提高数据质量,释放数
据价值。
本平台以智慧校园为基础,利用流式数据处理、机器学习分析等大数据技术,
高效地收集整合高校各方面所产生数据,从其中提取出有价值的信息和模型,推
动高校教育的全面创新,是根本目的。本平台的设计开发目标有以下三点:①针
对异构且更新频次不一的数据源构建统一的数据采集平台。②针对使用要求不一
的数据构建统一的分布式数据存储服务平台,提供统一的数据接口。③结合智慧
校园的业务场景应用,利用机器学习技术,挖掘数据的新价值。
平台系统整体架构包括大数据处理、数据挖掘、硬件环境、客户端等四个部
分。其中大数据部分构成整个平台的基础,硬件和软件系统构成平台的容器,客
户端是平台的出口。
(1)业务架构。在集群硬件环境支持下,利用微服务架构加上SpringCloud
技术以及 docker+kubernetes 等技术实现一键布署。各微服务支撑高校大数据的
所有业务场景、功能以及展示、报表所需要的资源;微服务通过 Restful WebAPI
实现与客户终端的连接,微服务以这种接口形式实现服务与客户端的分离,从而
可以灵活地实现多终端的接入以及为第三方提供服务能力。如 SpringCloud 为微
服务提供安全、熔断、负载均衡、治理等能力。