# spark_recommend
* java 部分
..src/main/java/hbase //hbase 增删改查例子,以后用于标签提取和保存
..src/main/java/kafka //kafka produce 和 consumer 用于对接spark_streaming
* scala 部分
..src/main/scala/hbase //hbase crud操作 和 rdd操作
..src/main/scala/matrix //矩阵处理目录
..src/main/scala/spark_streaming //spark streaming 实时处理部分
..src/main/scala/tags //标签投放模块
..src/main/scala/tags/localMatrix.scala //本地向量和矩阵的使用
..src/main/scala/tags/HbaseMatrix.scla //模拟广告投放模块(分布式矩阵的应用)
没有合适的资源?快使用搜索试试~ 我知道了~
基于hbase + spark 实现常用推荐算法(主要用于精准广告投放和推荐系统).zip
共248个文件
class:88个
xml:56个
export:28个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
5星 · 超过95%的资源 1 下载量 138 浏览量
2023-07-31
15:28:16
上传
评论
收藏 255KB ZIP 举报
温馨提示
该资源真实可靠,代码都经测试过,能跑通。 快速:Apache Spark以内存计算为核心。 通用 :一站式解决各个问题,ADHOC SQL查询,流计算,数据挖掘,图计算完整的生态圈。只要掌握Spark,就能够为大多数的企业的大数据应用场景提供明显的加速。存储层:HDFS作为底层存储,Hive作为数据仓库 (Hive Metastore:Hive管理数据的schema) 离线数据处理:SparkSQL (做数据查询引擎<===> 数据ETL) 实时数据处理:Kafka + Spark Streaming 数据应用层:MLlib 产生一个模型 als算法 数据展示和对接:Zeppelin 选用考量: HDFS不管是在存储的性能,稳定性 吞吐量 都是在主流文件系统中很占有优势的 如果感觉HDFS存储还是比较慢,可以采用SSD硬盘等方案。存储模块:搭建和配置HDFS分布式存储系统,并Hbase和MySQL作为备用方案。 ETL模块:加载原始数据,清洗,加工,为模型训练模块 和 推荐模块 准备所需的各种数据。 模型训练模块:负责产生模型,以及寻找最佳的模型。 推荐模块:包含离线推荐和实时推荐,离线推荐负责把推荐结果存储到存储系统中实时推荐负责产生实时的消息队列,并且消费实时消息产生推荐结果,最后存储在存储模块中。 数据展示模块:负责展示项目中所用的数据。 数据流向:数据仓库怎么理解?两种东西,其一是IBM微软数据产品为代表的,其二是Hadoop+Hive+Apache Hive数据仓库软件有助于使用SQL读取,写入和管理驻留在分布式存储中的大型数据集。 可以将结构投影到已经存储的数据上。 提供了命令行工具和JDBC驱动程序以将用户连接到Hive。
资源推荐
资源详情
资源评论
收起资源包目录
基于hbase + spark 实现常用推荐算法(主要用于精准广告投放和推荐系统).zip (248个子文件)
_partitioner 147B
_partitioner 147B
$73ba6e6e6fcb8ddc8674.cache 22B
$16d5d8d1446d5290a2c6.cache 22B
$6ab7769ba7b5d43838ab.cache 22B
$422f0cca637471d8282b.cache 22B
$53fa29f8c78371e1ae05.cache 22B
$9f0a30d05c6bc0ace695.cache 22B
$9148c6b7792a232e3c20.cache 22B
HbaseMatrix$.class 12KB
localMatrix$.class 12KB
Kafka_wc$.class 8KB
Hbase_CRUD$.class 8KB
Spark_RDD$.class 7KB
Demo$.class 6KB
HbaseMatrix.class 5KB
TRowMatrix$.class 5KB
Kafka_similar$.class 4KB
Hbase_CURD.class 4KB
localMatrix.class 3KB
Spark_RDD.class 3KB
KafkaConsumer.class 3KB
Kafka_wc.class 3KB
KafkaProducer.class 2KB
Hbase_CRUD.class 2KB
Demo.class 2KB
$422f0cca637471d8282b$.class 2KB
Kafka_similar.class 2KB
HbaseMatrix$$anonfun$tag_vector$1.class 2KB
TRowMatrix$$anonfun$matrix$TRowMatrix$$rowToTransposedTriplet$1.class 2KB
$16d5d8d1446d5290a2c6$.class 2KB
TRowMatrix$$anonfun$1.class 2KB
Spark_RDD$$anonfun$2.class 2KB
HbaseMatrix$$anonfun$4.class 2KB
localMatrix$$anonfun$2.class 2KB
localMatrix$$anonfun$3.class 2KB
localMatrix$$anonfun$5.class 2KB
Hbase_CRUD$$anonfun$1.class 2KB
TRowMatrix$$anonfun$2.class 2KB
localMatrix$$anonfun$2$$anonfun$apply$mcVI$sp$1.class 2KB
TRowMatrix$$anonfun$matrix$TRowMatrix$$buildRow$1.class 2KB
Spark_RDD$$anonfun$4.class 2KB
TRowMatrix$$anonfun$3.class 2KB
HbaseMatrix$$anonfun$5.class 1KB
TRowMatrix$$anonfun$4.class 1KB
localMatrix$$anonfun$1.class 1KB
HbaseMatrix$$anonfun$7.class 1KB
HbaseMatrix$$anonfun$2.class 1KB
Kafka_wc$$anonfun$5.class 1KB
Demo$$anonfun$2.class 1KB
Spark_RDD$$anonfun$3.class 1KB
Kafka_wc$$anonfun$3.class 1KB
$9f0a30d05c6bc0ace695$.class 1KB
$53fa29f8c78371e1ae05$.class 1KB
HbaseMatrix$$anonfun$1.class 1KB
$9148c6b7792a232e3c20$.class 1KB
Spark_RDD$$anonfun$1.class 1KB
$6ab7769ba7b5d43838ab$.class 1KB
$73ba6e6e6fcb8ddc8674$.class 1KB
HbaseMatrix$$anonfun$3.class 1KB
Kafka_wc$$anonfun$6.class 1KB
Demo$$anonfun$3.class 1KB
HbaseMatrix$$anonfun$6.class 1KB
HbaseMatrix$$anonfun$9.class 1KB
Kafka_wc$$anonfun$4.class 1KB
HbaseMatrix$$anonfun$10.class 1KB
HbaseMatrix$$anonfun$8.class 1KB
$73ba6e6e6fcb8ddc8674$$anonfun$$sbtdef$1$$anonfun$apply$1.class 1KB
Kafka_wc$$anonfun$2.class 1KB
Kafka_wc$$anonfun$1.class 1KB
Demo$$anonfun$1.class 1KB
$422f0cca637471d8282b$$anonfun$$sbtdef$1.class 1KB
HbaseMatrix$$anonfun$11.class 1KB
localMatrix$$anonfun$7.class 1KB
localMatrix$$anonfun$6.class 1KB
localMatrix$$anonfun$4.class 1KB
$73ba6e6e6fcb8ddc8674$$anonfun$$sbtdef$1.class 1KB
$9f0a30d05c6bc0ace695$$anonfun$$sbtdef$1.class 1KB
TRowMatrix.class 1KB
$6ab7769ba7b5d43838ab$$anonfun$$sbtdef$1.class 912B
$53fa29f8c78371e1ae05$$anonfun$$sbtdef$1.class 903B
$9148c6b7792a232e3c20$$anonfun$$sbtdef$1.class 900B
Kafka_similar$delayedInit$body.class 897B
$16d5d8d1446d5290a2c6$$anonfun$$sbtdef$1.class 892B
Kafka_wc$delayedInit$body.class 857B
Demo$delayedInit$body.class 825B
HbaseMatrix$delayedInit$body.class 804B
localMatrix$delayedInit$body.class 804B
Hbase_CRUD$delayedInit$body.class 803B
Spark_RDD$delayedInit$body.class 795B
$9f0a30d05c6bc0ace695.class 745B
$6ab7769ba7b5d43838ab.class 735B
$73ba6e6e6fcb8ddc8674.class 679B
$53fa29f8c78371e1ae05.class 413B
$9148c6b7792a232e3c20.class 413B
$16d5d8d1446d5290a2c6.class 357B
$422f0cca637471d8282b.class 357B
copy-resources 23B
.part-00000.crc 12B
.part-00000.crc 12B
共 248 条
- 1
- 2
- 3
资源评论
- m0_543724312023-10-26支持这个资源,内容详细,主要是能解决当下的问题,感谢大佬分享~
c++服务器开发
- 粉丝: 3042
- 资源: 4463
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功