没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
Spark流式ETL 该项目旨在使用lighbend配置库通过火花流创建ETL配置,以便最终用户可以在不了解Scala / Spark的情况下配置简单的ETL过程。 我正在做一个辅助项目,以测试Spark结构化的流媒体潜力。 最近,我向侦听器添加了支持,这些监听器监视Spark Streaming应用程序的状态并编写指标。 该项目旨在可插拔,以便每个人都可以扩展它,添加新的来源,接收器和转换。 当前支持的来源: 我将在不久的将来看到流连接 文件 卡夫卡 可连接项 当前支持的接收器: 文件 卡夫卡 弹性搜寻 安慰 当前支持的转换: 所有转换都可以顺序应用,并且是可选的 水印支持 硬固定值 过滤器 选择 色谱柱去除 计数 当前支持的侦听器: 卡夫卡 文件 可以使用HOCON语法通过application.conf文件配置源和宿。 我将以实际配置说明用法。 (简化了Conf文件)此
资源推荐
资源详情
资源评论
收起资源包目录
sparkStreamingETL-master.zip (25个子文件)
sparkStreamingETL-master
TODO.md 491B
src
main
resources
application.conf 4KB
scala
ingestion
listeners
ListenersHandler.scala 790B
FileListener.scala 1KB
KafkaListener.scala 1KB
Runner.scala 1KB
sinks
ElasticSink.scala 533B
Sink.scala 2KB
KafkaSink.scala 570B
ConsoleSink.scala 292B
FileSink.scala 588B
transformations
Aggregations.scala 804B
TransformationsHandler.scala 2KB
ColumnsHandler.scala 1KB
DateTrans.scala 768B
util
JoinableSourcesUtils.scala 2KB
SourceSinkUtils.scala 2KB
sources
JoinableSource.scala 986B
Source.scala 2KB
KafkaSource.scala 926B
FileSource.scala 3KB
build.sbt 1KB
.gitignore 77B
project
build.properties 19B
README.md 3KB
共 25 条
- 1
资源评论
步衫
- 粉丝: 29
- 资源: 4641
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功