没有合适的资源?快使用搜索试试~ 我知道了~
spark-atlas-connector:一个Spark Atlas连接器,用于跟踪Apache Atlas中的数据沿袭
共90个文件
scala:66个
json:4个
xml:4个
需积分: 50 14 下载量 126 浏览量
2021-05-26
21:27:52
上传
评论 2
收藏 318KB ZIP 举报
温馨提示
Spark Atlas连接器 用于跟踪Spark SQL / DataFrame转换并将元数据更改推送到Apache Atlas的连接器。 此连接器支持跟踪: SQL DDL,例如“创建/删除/更改数据库”,“创建/删除/更改表”。 SQL DML,例如“ CREATE TABLE tbl AS SELECT”,“ INSERT INTO ...”,“ LOAD DATA [LOCAL] INPATH”,“ INSERT OVERWRITE [LOCAL] DIRECTORY”等。 具有输入和输出的DataFrame转换 机器学习管道。 该连接器将与Hive,HDFS等其他系统关联,以跟踪Atlas中数据的生命周期。 如何建造 要使用此连接器,您将需要最新版本的Spark(Spark 2.3+),因为大多数功能仅在Spark 2.3.0+中存在。 要构建此项目,请执行: mv
资源推荐
资源详情
资源评论
收起资源包目录
spark-atlas-connector-master.zip (90个子文件)
spark-atlas-connector-master
.github
PULL_REQUEST_TEMPLATE 224B
patch
Spark_ML_Listener_2.3.patch 9KB
Spark_ML_Listener_2.4.patch 15KB
1100-spark_model.json 11KB
Spark_ML_Listener_2.4.diff 15KB
Spark_ML_Listener_2.3.diff 8KB
examples
zeepline_notebook
Spark ML_Lineage.png 49KB
SAC_ Spark Streaming and ML.json 5KB
SAC_ Spark SQL.json 4KB
SAC_ Spark ML.json 5KB
Spark_ML_Streaming_Lineage.png 60KB
Spark ETL_Lineage.png 52KB
spark-atlas-connector
src
test
scala
com
hotels
beeju
ThriftHiveMetaStoreTestUtil.scala 1KB
hortonworks
spark
atlas
sql
SparkExecutionPlanProcessorForViewSuite.scala 4KB
testhelper
KafkaTopicEntityValidator.scala 3KB
AtlasStreamingQueryProgressListener.scala 2KB
AtlasQueryExecutionListener.scala 2KB
BaseHarvesterSuite.scala 2KB
ProcessEntityValidator.scala 4KB
CreateEntitiesTrackingAtlasClient.scala 2KB
DirectProcessSparkExecutionPlanProcessor.scala 1KB
FsEntityValidator.scala 2KB
TableEntityValidator.scala 4KB
LoadDataHarvesterSuite.scala 4KB
InsertIntoHarvesterSuite.scala 12KB
CreateViewHarvesterSuite.scala 4KB
SparkExecutionPlanProcessorWithRemoteHiveMetastoreServiceSuite.scala 6KB
SparkExecutionPlanProcessorForComplicatedQuerySuite.scala 5KB
CatalogEventToAtlasIT.scala 6KB
CreateDataSourceTableAsSelectHarvesterSuite.scala 4KB
InsertIntoHiveDirHarvesterSuite.scala 4KB
SparkExecutionPlanProcessForRdbmsQuerySuite.scala 4KB
SparkExecutionPlanProcessorForStreamingQuerySuite.scala 27KB
SparkExecutionPlanProcessorForBatchQuerySuite.scala 16KB
SparkCatalogEventProcessorSuite.scala 9KB
CreateHiveTableAsSelectHarvesterSuite.scala 8KB
WithHiveSupport.scala 2KB
ml
MLPipelineTrackerIT.scala 3KB
MLPipelineWithSaveIntoSuite.scala 9KB
utils
JdbcUtilsTest.scala 3KB
SparkUtilsSuite.scala 3KB
AtlasEntityCreationRequestHelperSuite.scala 5KB
WithRemoteHiveMetastoreServiceSupport.scala 3KB
KafkaClientIT.scala 5KB
TestUtils.scala 3KB
types
AtlasExternalEntityUtilsSuite.scala 6KB
MLAtlasEntityUtilsSuite.scala 4KB
SparkAtlasEntityUtilsSuite.scala 5KB
BaseResourceIT.scala 4KB
WithHDFSSupport.scala 3KB
resources
atlas-application.properties 10KB
users.parquet 615B
log4j.properties 1KB
main
scala
com
hortonworks
spark
atlas
sql
CommandsHarvester.scala 25KB
SparkCatalogEventProcessor.scala 6KB
Harvester.scala 992B
KafkaTopicInformation.scala 1KB
SparkExecutionPlanProcessor.scala 7KB
SparkExtension.scala 2KB
KafkaAtlasClient.scala 4KB
ml
MLPipelineEventProcessor.scala 7KB
utils
ReflectionHelper.scala 4KB
CatalogUtils.scala 2KB
Logging.scala 2KB
JdbcUtils.scala 4KB
SparkUtils.scala 9KB
SACAtlasEntity.scala 2KB
AtlasClientConf.scala 2KB
AtlasUtils.scala 2KB
types
metadata.scala 1KB
internal.scala 10KB
external.scala 10KB
AtlasEntityUtils.scala 4KB
AtlasEntityCreationRequestHelper.scala 4KB
AtlasClient.scala 4KB
AbstractEventProcessor.scala 3KB
AtlasEntityReadHelper.scala 3KB
RestAtlasClient.scala 3KB
SparkAtlasStreamingQueryEventTracker.scala 3KB
SparkAtlasEventTracker.scala 3KB
org
apache
spark
sql
kafka010
atlas
ExtractFromDataSource.scala 14KB
pom.xml 1KB
.travis.yml 986B
LICENSE 11KB
build
mvn 4KB
README.md 9KB
spark-atlas-connector-assembly
pom.xml 5KB
pom.xml 21KB
scalastyle-config.xml 17KB
.gitignore 77B
共 90 条
- 1
资源评论
步衫
- 粉丝: 29
- 资源: 4641
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 安卓Android图书馆座位占座app设计可导入Studio源码案例设计.zip
- 安卓Android汽车票售票订票app设计可导入Studio源码案例设计.zip
- 安卓android高校开放式实验室管理app可导入Studio源码案例设计.zip
- [咒术回战][16][京都姐妹校交流会-团体战②-][中文][1080P].mp4
- 安卓Android车辆运输信息管理App可升级Studio源码案例设计.zip
- Android Studio移动应用开发.zip
- [咒术回战][15][京都姐妹校交流会-团体战①-][中文][1080P].mp4
- android studio-GIT.zip
- [咒术回战][14][京都姐妹校交流会-团体战⓪-][中文][1080P].mp4
- [咒术回战][13][明天见][中文][1080P].mp4
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功