没有合适的资源?快使用搜索试试~ 我知道了~
dataforj:Dataforj是一种可以根据良好的工程原理轻松创建数据模型的工具
共37个文件
py:16个
csv:5个
sql:4个
需积分: 5 0 下载量 182 浏览量
2021-03-25
20:37:58
上传
评论
收藏 26KB ZIP 举报
温馨提示
数据仓库 Dataforj是一种工具,可以根据良好的工程原理轻松创建数据模型,例如基于文本的代码,单元测试,数据质量检查以及开发和运行时环境的分离。 数据分析师和数据工程师可以在同一代码库上工作,以创建可以在任何Spark集群上运行的可靠项目。 特征 在任何Spark集群上运行 支持多种环境 命令行界面 基于文本的代码 数据质量检查 单元测试 Dataforj的工作方式 Dataforj由可用于运行Dataforj模型的CLI组成。 可以手动或通过工具组成的项目结构,可以轻松构建和维护具有良好工程原理的复杂模型。 待办事项:添加一个图表,显示在项目中使用SQL的Data Analyst,在同一项目上在PySpark上工作的数据工程师,都有私有git repos,并且在git之后,该项目被DevOps管道推送到test / prd envs。 Dataforj模型由链接在一起并以正确顺序
资源推荐
资源详情
资源评论
收起资源包目录
dataforj-main.zip (37个子文件)
dataforj-main
dataforj
.DS_Store 6KB
dataflow.py 10KB
main.py 1KB
__init__.py 0B
envs.py 1KB
cli.py 7KB
sample.csv 67B
api.py 2KB
datastep.py 8KB
.vscode
settings.json 167B
scripts
dataforj 119B
example
sql
result.sql 135B
transactions_with_products.sql 105B
customers_latest.sql 173B
unit_tests
filter.py 162B
dq_tests
filter.py 162B
filter.sql 0B
.DS_Store 6KB
envs
local.yaml 149B
pyspark
filter.py 94B
dataforj.yaml 2KB
data
transactions.csv 318B
result.csv
.part-00000-b84d7741-2f16-444f-88bb-89bfac2ed735-c000.csv.crc 12B
_SUCCESS 0B
part-00000-b84d7741-2f16-444f-88bb-89bfac2ed735-c000.csv 389B
._SUCCESS.crc 8B
customers.csv 163B
products.csv 91B
LICENSE 11KB
test
test_cli.py 978B
test_samples.py 2KB
test_api.py 2KB
__init__.py 0B
test_dataflow.py 6KB
setup.py 109B
README.md 7KB
.gitignore 2KB
共 37 条
- 1
资源评论
A玩具爆款孙大帅
- 粉丝: 18
- 资源: 4712
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功