没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
流人 Flowman是基于Spark的ETL程序,可简化编写数据转换的过程。 主要思想是用户在纯声明性的YAML文件中编写所谓的规范,而不是在Scala或Python中编写Spark作业。 这种方法的主要优点是,封装了正确而可靠的实现的许多技术细节,并且用户可以自己专注于数据转换。 除了编写和执行数据转换外,Flowman还可以用于管理物理数据模型,即Hive表。 Flowman可以根据规范使用正确的方案创建此类表。 这有助于将所有方面(如转换和架构信息)保留在一个程序管理的单个位置。 特色功能 YAML文件中的声明性语法 数据模型管理(创建和销毁Hive表或基于文件的存储) 灵活的表达语言 用于管理构建目标的作业(例如,通过sftp复制文件或上传数据) 强大而简单的命令行工具 可通过插件扩展 文献资料 您可以在找到全面。 安装 您可以在获取适当的预构建包,也可以通过Maven使用
资源推荐
资源详情
资源评论
收起资源包目录
flowman:基于Spark的ETL (933个子文件)
stations.avsc 1KB
measurements.avsc 855B
make.bat 775B
.browserslistrc 21B
com.dimajix.flowman.spi.ClassAnnotationHandler 682B
com.dimajix.flowman.spi.ClassAnnotationHandler 47B
data_1.csv 12B
example.csv 6B
org.apache.spark.sql.sources.DataSourceRegister 167B
Dockerfile 709B
.editorconfig 515B
flowexec 353B
flowman 353B
flowserver 356B
flowshell 353B
.gitattributes 282B
.gitattributes 18B
.gitignore 226B
.gitignore 115B
.gitignore 13B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
index.html 3KB
index.html 746B
favicon.ico 4KB
JavaRunnerTest.java 1KB
HistoryType.java 1KB
ConnectionType.java 1KB
RelationType.java 1KB
MappingType.java 1KB
DatasetType.java 1KB
SchemaType.java 1KB
TargetType.java 1KB
StoreType.java 1KB
HookType.java 1KB
CatalogType.java 1KB
MetricSinkType.java 1012B
TemplateObject.java 441B
api.js 2KB
axios.js 1KB
router.js 995B
.eslintrc.js 353B
vue.config.js 301B
main.js 298B
vuetify.js 121B
postcss.config.js 59B
babel.config.js 53B
package-lock.json 464KB
example-schema.json 2KB
package.json 1019B
AvroSchema.json 273B
LICENSE 11KB
com.dimajix.flowman.spi.LogFilter 44B
Makefile 604B
assemble.md 8KB
installation.md 7KB
INSTALLING.md 7KB
QUICKSTART.md 7KB
quickstart.md 7KB
module.md 6KB
CHANGELOG.md 6KB
building.md 5KB
hiveTable.md 4KB
index.md 4KB
BUILDING.md 4KB
index.md 4KB
json-extract.md 4KB
hiveUnionTable.md 4KB
flowexec.md 3KB
impala.md 3KB
relation.md 3KB
expressions.md 3KB
index.md 3KB
README.md 3KB
json-unpack.md 3KB
explode.md 3KB
config.md 3KB
project.md 2KB
namespace.md 2KB
file.md 2KB
aggregate.md 2KB
copy.md 2KB
共 933 条
- 1
- 2
- 3
- 4
- 5
- 6
- 10
资源评论
男爵兔
- 粉丝: 42
- 资源: 4591
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功