基于Spark的高校数据分析系统
Scala
Scala, Java, Python, Shell
共155个文件
class: 86
scala: 15
txt: 14
java: 9
xml: 7
csv: 5
png: 2
py: 2
rar: 2
pdf: 2
基于Spark的高校数据分析系统 。Spark-core;Spark-ML,Spark-streaming
基于Spark的高校数据分析系统
介绍
基于Spark的高校数据分析系统 。同时实现了Spark-core（被注释了）;Spark-ML,Spark-streaming。
spark-streaming虽然过时很久了，但是对于我学习来说还是够了。 streaming存在很多的弊端，但是主要思想还是处理流式RDD。
新手gitter，不知道怎么处理项目文件的。这是文件夹的下面的说明，
spark_student：IDEA项目文件。
makeDataByPython : 模拟服务器制造log日志的python代码。
other : 代码设计过程中的思路和想法。
PPT：项目展示的PPT。
reference_code ：参考代码。
reference_data：参考数据。
running_sh：软件运行脚本。
spark_JAR：web_spark.jar。
README.assets：是README.md 的引用文件。
软件架构
运行环境：centos 6.x、java、kafka、zookeeper、Flume、Hbase、HDFS、YARN、Spark、MySQl。
软件详细的配置文件，我得重新整理一下，之后会更新详细的内容。
安装教程
spark_student是IDEA项目，直接使用IDEA打开。（需要自行配置运行环境）
在IDEA下运行，配置好maven。（国内访问mvn服务器较慢，建议使用阿里 https://maven.aliyun.com/repository/public ）
使用说明
随便用。
参与贡献
不允许贡献任何代码。
但是可以在issue提出你的问题，谢谢你的参与。
我的微信：
https://gitee.com/anzx2452/student_ana_spark
基于Spark技术的高校数据挖掘与分析系统源码
版权申诉
13 浏览量
2024-03-25
15:12:54
上传
评论
收藏 183.25MB ZIP 举报
基于Spark技术的高校数据挖掘与分析系统源码 （155个子文件） 
anzxstart 2KB anzxstart(1) 2KB predictscore$.class 12KB linnear_regression_online$.class 8KB predictscore$$anonfun$1.class 7KB sparkStreamingMain$.class 7KB myUtils$.class 7KB predictscore$$anonfun$4.class 6KB pearsonscore$$anonfun$1.class 6KB HBaseUtils.class 5KB studentBean.class 5KB pearsonscore$.class 5KB pearsonBean.class 5KB sparkStreamingMain$$anonfun$main$4$$anonfun$apply$1.class 5KB sparkStreamingMain$$anonfun$main$8$$anonfun$apply$2.class 4KB predictscore.class 4KB predictscore$$typecreator1$1.class 4KB predictscore$$typecreator2$1.class 4KB sparkStreamingMain$$anonfun$main$12$$anonfun$apply$3.class 4KB scalaTestMain$.class 4KB sparkStreamingMain$$anonfun$main$16$$anonfun$apply$4.class 3KB featurestudentDao.class 3KB sparkStreamingMain$$anonfun$main$24$$anonfun$apply$6.class 3KB linnear_regression_online$$typecreator1$1.class 3KB linnear_regression_online$$typecreator2$1.class 3KB myUtils.class 3KB sparkStreamingMain$$anonfun$main$20$$anonfun$apply$5.class 3KB studentDao.class 3KB pearsonscoreDao.class 3KB predictscore$$anonfun$5.class 2KB predictscore$$anonfun$3.class 2KB sbsmain$.class 2KB linnear_regression_online$$anonfun$1.class 2KB linnear_regression_online$$anonfun$2.class 2KB scalaTestMain$$anonfun$main$3.class 2KB scalaTestMain$$anonfun$main$2.class 2KB scalaTestMain$$anonfun$main$5.class 2KB scalaTestMain$$anonfun$main$4.class 2KB scalaTestMain$$anonfun$main$1.class 2KB scalaTestMain$$anonfun$main$8.class 2KB scalaTestMain$$anonfun$main$9.class 2KB scalaTestMain$$anonfun$main$11.class 2KB scalaTestMain$$anonfun$main$12.class 2KB scalaTestMain$$anonfun$main$10.class 2KB scalaTestMain$$anonfun$main$6.class 2KB scalaTestMain$$anonfun$main$7.class 2KB BaseDao.class 2KB predictscore$$anonfun$6.class 2KB pearsonscore.class 2KB sparkStreamingMain$$anonfun$main$8.class 2KB sparkStreamingMain$$anonfun$main$3.class 2KB sparkStreamingMain$$anonfun$main$7.class 2KB sparkStreamingMain$$anonfun$main$4.class 2KB sparkStreamingMain$$anonfun$main$16.class 1KB sparkStreamingMain$$anonfun$main$12.class 1KB sparkStreamingMain$$anonfun$main$24.class 1KB sparkStreamingMain$$anonfun$main$20.class 1KB mlConsoleMain$.class 1KB predictscore$$anonfun$1$$anonfun$apply$1.class 1KB predictscore$$anonfun$4$$anonfun$apply$2.class 1KB pearsonscore$$anonfun$1$$anonfun$apply$1.class 1KB sparkStreamingMain$$anonfun$1.class 1KB myUtils$$anonfun$avg_Med$1.class 1KB sparkStreamingMain$$anonfun$main$15.class 1KB sparkStreamingMain$$anonfun$main$11.class 1KB sparkStreamingMain$$anonfun$main$23.class 1KB linnear_regression_online$$anonfun$main$1.class 1KB sparkStreamingMain$$anonfun$main$19.class 1KB scalaTestMain.class 1KB sparkStreamingMain$$anonfun$main$14.class 1KB sparkStreamingMain$$anonfun$main$22.class 1KB sparkStreamingMain$$anonfun$main$18.class 1KB sparkStreamingMain$$anonfun$main$10.class 1KB sparkStreamingMain$$anonfun$main$2.class 1KB sparkStreamingMain$$anonfun$main$6.class 1KB sparkStreamingMain$$anonfun$main$17.class 1KB sparkStreamingMain$$anonfun$main$21.class 1KB sparkStreamingMain$$anonfun$main$13.class 1KB sparkStreamingMain$$anonfun$main$1.class 1KB sparkStreamingMain$$anonfun$main$9.class 1KB sparkStreamingMain$$anonfun$main$5.class 1KB predictscore$$anonfun$2.class 1KB linnear_regression_online.class 692B sparkStreamingMain.class 641B mlConsoleMain.class 610B sbsmain.class 579B main.class 413B javamain.class 377B joblog1.conf 545B consumeData.csv 28KB consumeData(1).csv 28KB ccc(1).csv 25KB ccc.csv 25KB netData.csv 15KB spark_student.iml 80B spark_student.iml 80B
web-spark.jar 70.41MB studentBean.java 5KB HBaseUtils.java 5KB pearsonBean.java 5KB共 155 条
- 1
- 2
资源评论
沐知全栈开发
- 粉丝: 4739
- 资源: 3374
下载权益
C知道特权
VIP文章
课程特权
VIP享7折，此内容立减5.97元 开通VIP
