# SparkRecommerSystem
基于Spark的实时推荐系统,使用MovieLens作为测试数据集
利用kafka收集实时评分数据,Spark Streaming读取kafka数据并进行电影推荐
没有合适的资源?快使用搜索试试~ 我知道了~
基于Spark的实时推荐系统,使用MovieLens作为测试数据集.zip
共152个文件
scala:31个
js:27个
css:19个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 52 浏览量
2023-07-31
15:30:08
上传
评论
收藏 35.06MB ZIP 举报
温馨提示
该资源真实可靠,代码都经测试过,能跑通。 快速:Apache Spark以内存计算为核心。 通用 :一站式解决各个问题,ADHOC SQL查询,流计算,数据挖掘,图计算完整的生态圈。只要掌握Spark,就能够为大多数的企业的大数据应用场景提供明显的加速。存储层:HDFS作为底层存储,Hive作为数据仓库 (Hive Metastore:Hive管理数据的schema) 离线数据处理:SparkSQL (做数据查询引擎<===> 数据ETL) 实时数据处理:Kafka + Spark Streaming 数据应用层:MLlib 产生一个模型 als算法 数据展示和对接:Zeppelin 选用考量: HDFS不管是在存储的性能,稳定性 吞吐量 都是在主流文件系统中很占有优势的 如果感觉HDFS存储还是比较慢,可以采用SSD硬盘等方案。存储模块:搭建和配置HDFS分布式存储系统,并Hbase和MySQL作为备用方案。 ETL模块:加载原始数据,清洗,加工,为模型训练模块 和 推荐模块 准备所需的各种数据。 模型训练模块:负责产生模型,以及寻找最佳的模型。 推荐模块:包含离线推荐和实时推荐,离线推荐负责把推荐结果存储到存储系统中实时推荐负责产生实时的消息队列,并且消费实时消息产生推荐结果,最后存储在存储模块中。 数据展示模块:负责展示项目中所用的数据。 数据流向:数据仓库怎么理解?两种东西,其一是IBM微软数据产品为代表的,其二是Hadoop+Hive+Apache Hive数据仓库软件有助于使用SQL读取,写入和管理驻留在分布式存储中的大型数据集。 可以将结构投影到已经存储的数据上。 提供了命令行工具和JDBC驱动程序以将用户连接到Hive。
资源推荐
资源详情
资源评论
收起资源包目录
基于Spark的实时推荐系统,使用MovieLens作为测试数据集.zip (152个子文件)
htmleaf-demo.min.css 191KB
bootstrap.css 134KB
flat-ui.min.css 128KB
bootstrap.min.css 111KB
buttons.css 79KB
animate.css 57KB
bootstrap-theme.css 21KB
bootstrap-theme.min.css 19KB
bootstrap-datetimepicker.min.css 11KB
fileinput.css 7KB
default.css 6KB
fileinput.min.css 6KB
fileinput.min.css 5KB
star-rating.css 3KB
style.css 3KB
button-style.css 2KB
star-rating.min.css 2KB
common.css 977B
responsive-nav.css 791B
ratings.csv 2.23MB
movies.csv 439KB
links.csv 170KB
testRatings.csv 56KB
tags.csv 40KB
bestALSModel.csv 17KB
smallratings.csv 91B
glyphicons-halflings-regular.eot 20KB
.gitignore 64B
hbaseCommand 150B
hql 2KB
SelectController.java 5KB
InsertController.java 3KB
SelectServiceImpl.java 2KB
Rating.java 2KB
Predict.java 2KB
InsertServiceImpl.java 1KB
Movie.java 1KB
RatingDaoImpl.java 1KB
MovieDaoImpl.java 925B
UserDaoImpl.java 890B
User.java 725B
SelectService.java 637B
PredictDaoImpl.java 635B
RatingDao.java 427B
MovieDao.java 354B
UserDao.java 336B
InsertService.java 310B
PredictDao.java 236B
default_headpicture.jpg 606KB
jquery-3.1.1.js 261KB
flat-ui.min.js 217KB
fileinput.js 148KB
htmleaf-demo.min.js 134KB
jquery-3.1.1.min.js 85KB
fileinput.min.js 72KB
bootstrap-datetimepicker.js 66KB
bootstrap.js 64KB
jquery-form.js 43KB
iscroll-zoom.js 40KB
bootstrap.min.js 34KB
zepto.min.js 31KB
star-rating.js 15KB
star-rating.min.js 10KB
responsive-nav.min.js 6KB
zh.js 4KB
script.js 3KB
stickUp.min.js 3KB
movieop.js 3KB
userop.js 2KB
ratingop.js 2KB
fileinput_locale_zh.js 2KB
predictop.js 1KB
control.js 1KB
bootstrap-datetimepicker.zh-CN.js 813B
npm.js 484B
staticVar.js 42B
index1.jsp 32KB
index.jsp 8KB
README.md 183B
MANIFEST.MF 43B
girl-2.png 24KB
girl-6.png 23KB
girl-4.png 21KB
boy-3.png 20KB
girl-8.png 20KB
boy-7.png 19KB
boy-1.png 18KB
boy-5.png 16KB
icon_comment.png 11KB
icon_like_after.png 11KB
icon_like.png 9KB
icon_collect.png 7KB
icon_collect_after.png 7KB
add.png 4KB
resizeApi (2).png 3KB
resizeApi (1).png 2KB
config.properties 2KB
log4j.properties 797B
log4j.properties 332B
jdbc.properties 151B
共 152 条
- 1
- 2
资源评论
c++服务器开发
- 粉丝: 3042
- 资源: 4463
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功