没有合适的资源?快使用搜索试试~ 我知道了~
spark-on-hbase:通用Spark模块,用于在HDD表中进行扫描,联接以及对RDD进行联接和变异
共69个文件
scala:45个
properties:4个
spark-submit:1个
需积分: 9 0 下载量 32 浏览量
2021-05-16
06:58:58
上传
评论
收藏 81KB ZIP 举报
温馨提示
这是spark的通用扩展,用于从spark环境中高效扫描,联接和变异HBase表。 主设置是针对HBase API 1.1.0.1,Scala 2.10和Spark 1.4.1的,但是可以通过更改pom.xml中的versions属性来为较老的API创建分支(对于基本用例,不需要dataframes api)因此,实际上任何版本> 0.92的spark版本都可以使用,但对于HBase旧API,围绕hbase api调用将需要进行小的重构)。 该库可通过3种主要方式使用: Basic :在最基本的情况下,它可以用于将现有的hbase表简单映射到HBaseRDD,这将产生简单的RDD对[(Array [Byte],hbase.client.Result)]。 可以像其他任何RDD一样对它们进行过滤,转换。例如,可以将结果作为一种变异提供给HBaseTable,以在同一基础表上执行。 标准
资源推荐
资源详情
资源评论
收起资源包目录
spark-on-hbase-master.zip (69个子文件)
spark-on-hbase-master
NOTICE 673B
pom.xml 11KB
LICENSE 10KB
src
test
resources
log4j.properties 411B
scala
log4j.properties 307B
org
apache
spark
hbase
KeySpaceTest.scala 2KB
ByteHBaseAdminUtilsTest.scala 559B
KeyTest.scala 2KB
HttpRDDTest.scala 417B
RegionPartitionerTest.scala 4KB
SerdeTest.scala 870B
TestSparkContext.scala 720B
main
resources
build.demo-graph 188B
log4j.properties 149B
build.spark 224B
spark-submit 2KB
spark-shell 3KB
build.spark-dist 190B
spark.log4j.properties 619B
build.demo-simple 190B
scala
org
apache
spark
hbase
keyspace
Key.scala 2KB
HBaseRDDKS.scala 2KB
HBaseTableKS.scala 1KB
KeySpace.scala 6KB
HBaseRDDFiltered.scala 472B
misc
RDDUtils.scala 3KB
KafkaProxy.scala 1KB
ByteUtils.java 10KB
HBaseAdminUtils.scala 8KB
HttpRDD.scala 2KB
HBaseRDDFunctions.scala 13KB
HBaseQuery.scala 2KB
Transformation.scala 310B
HBaseRDD.scala 3KB
TransformationFilter.scala 277B
HBaseTable.scala 15KB
examples
graph
HGraphTable.scala 10KB
EP.scala 3KB
DemoGraphApp.scala 4KB
KryoRegistrator.scala 526B
DemoKeySpace.scala 852B
AGraph.scala 13KB
simple
HBaseTableSimple.scala 2KB
DemoSimpleApp.scala 4KB
Serde.scala 270B
HBaseFilter.scala 168B
RegionPartitioner.scala 2KB
helpers
SerdeDefault.scala 305B
SerdeLong.scala 355B
SerdeDouble.scala 364B
SerdeNull.scala 278B
SerdeInt.scala 353B
FamilyTransformation.scala 3KB
SerdeUUID.scala 621B
ColumnTransformation.scala 2KB
SerdeString.scala 373B
SerdeBool.scala 373B
.gitignore 55B
lib
librebind.so 6KB
README.md 15KB
scripts
default-spark-env.template 395B
test 111B
demo-graph-shell 3KB
demo-simple-init.scala 731B
demo-simple-shell 3KB
demo-graph-init.scala 569B
options.bash 1KB
package 92B
build 267B
共 69 条
- 1
资源评论
123你走吧你走吧
- 粉丝: 41
- 资源: 4614
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- C语言-leetcode题解之83-remove-duplicates-from-sorted-list.c
- C语言-leetcode题解之79-word-search.c
- C语言-leetcode题解之78-subsets.c
- C语言-leetcode题解之75-sort-colors.c
- C语言-leetcode题解之74-search-a-2d-matrix.c
- C语言-leetcode题解之73-set-matrix-zeroes.c
- 树莓派物联网智能家居基础教程
- YOLOv5深度学习目标检测基础教程
- (源码)基于Arduino和Nextion的HMI人机界面系统.zip
- (源码)基于 JavaFX 和 MySQL 的影院管理系统.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功