# 基于Spark2.x新闻网大数据实时分析可视化系统项目
## 一、业务需求分析
- 捕获用户浏览日志信息
- 实时分析前20名流量最高的新闻话题
- 实时统计当前线上已曝光的新闻话题
- 统计哪个时段用户浏览量最高
## 二、系统架构图设计
## 三、系统数据流程设计
## 四、集群资源规划设计
## 五、步骤详解
### 具体请参考[博客](https://blog.csdn.net/u011254180/article/details/80172452)
计算机课程毕设：基于Spark框架的新闻网大数据实时分析可视化系统项目.zip
版权申诉
10 浏览量
2023-07-12
22:17:50
上传
评论 1
收藏 3.43MB ZIP 举报
计算机课程毕设：基于Spark框架的新闻网大数据实时分析可视化系统项目.zip （35个子文件） 
project flume_hbase 
KfkAsyncHbaseEventSerializer.java 4KB SimpleRowKeyGenerator.java 2KB
flume-ng-hbase-sink.jar 45KB SimpleHbaseEventSerializer.java 5KB z_pic 
news3.png 86KB news2.png 250KB news1.png 170KB weblogs src main java ReadWrite.java 3KB META-INF MANIFEST.MF 58B
参考步骤.txt 14KB sparkStu pom.xml 3KB src main java com spark service WeblogSocket.java 1KB WeblogService.java 2KB webapp WEB-INF lib ezmorph-1.0.6.jar 84KB json-lib-2.2.3-jdk13.jar 145KB commons-logging-1.1.jar 52KB commons-collections-3.2.2.jar 575KB commons-httpclient-3.1.jar 298KB
ezmorph.zip 79KB fastjson-1.1.33.jar 343KB commons-lang-2.6.jar 278KB mysql-connector-java-5.1.27-bin.jar 852KB commons-beanutils-1.7.0.jar 184KB web.xml 222B js echarts.min.js 626KB jquery-3.2.1.js 262KB
index.html 4KB scala com spark test MySqlPool.scala 1KB StreamingKafka8.scala 1KB JDBCSink.scala 2KB TestStreaming.scala 1KB Test.scala 646B StructuredStreamingKafka.scala 1KB StreamingKafka10.scala 1KB README.md 728B资源评论
