没有合适的资源?快使用搜索试试~ 我知道了~
rikai:基于Parquet的ML数据格式经过优化,可用于处理非结构化数据
共168个文件
py:76个
scala:49个
rst:5个
需积分: 10 0 下载量 125 浏览量
2021-03-26
11:41:00
上传
评论
收藏 1.71MB ZIP 举报
温馨提示
:red_exclamation_mark: 该存储库仍处于试验阶段。 不保证API兼容性。 里开 Rikai是一种基于的ML数据格式,旨在大规模处理非结构化数据。 处理ML的大量数据从来都不是一件容易的事,但对于经常处于深度学习应用程序核心的图像和视频而言,尤其如此。 我们正在建立Rikai的两个主要目标: 使ML工程师/研究人员拥有从笔记本到生产的无缝流程,从功能工程(Spark)到培训(PyTorch / Tensorflow)。 启用高级分析功能,以支持更快的主动学习,模型调试以及生产管道中的监视。 当前(v0.0.1)的主要功能: Spark和PyTorch对图像/视频的本机支持:在ETL和培训之间移动时,减少临时类型的转换。 用于大规模处理图像和视频的自定义功能:减少当前处理图像,过滤器/样本视频等所需的样板代码和低级代码。 路线图: TensorFlow集成 数据集中内置的版本控制支持 更加丰富的视频功
资源推荐
资源详情
资源评论
收起资源包目录
rikai:基于Parquet的ML数据格式经过优化,可用于处理非结构化数据 (168个子文件)
make.bat 795B
setup.cfg 91B
spark-defaults.conf 2KB
.scalafmt.conf 18B
org.apache.spark.sql.sources.DataSourceRegister 34B
Dockerfile 7KB
RikaiExtSqlBase.g4 3KB
RikaiModelSchema.g4 1KB
.gitattributes 46B
.gitignore 269B
pytest.ini 103B
RikaiModelSchemaLexer.interp 2KB
RikaiModelSchema.interp 1KB
Coco.ipynb 566KB
VideoData.ipynb 15KB
ValidateInstallation.ipynb 4KB
LICENSE 11KB
Makefile 1KB
Makefile 634B
README.md 5KB
contributing.md 726B
big_buck_bunny_short.mp4 719KB
image_nb.png 418KB
RikaiModelSchemaParser.py 15KB
geometry.py 9KB
video.py 9KB
dataset.py 8KB
data.py 8KB
test_parquet_udt.py 7KB
vision.py 6KB
fs.py 6KB
test_functions.py 6KB
resolver.py 6KB
coco.py 5KB
test_data.py 5KB
test_fs.py 5KB
vision.py 5KB
geometry.py 4KB
video.py 4KB
io.py 4KB
vision.py 4KB
shuffler.py 4KB
schema.py 3KB
geometry.py 3KB
callback_service.py 3KB
RikaiModelSchemaLexer.py 3KB
numpy.py 3KB
__init__.py 3KB
conf.py 3KB
pytorch.py 3KB
test_schema.py 2KB
test_types.py 2KB
mixin.py 2KB
test_torchvision.py 2KB
RikaiModelSchemaVisitor.py 2KB
test_video.py 2KB
test_vision.py 2KB
test_shuffler.py 2KB
test_pandas.py 2KB
transforms.py 2KB
conftest.py 2KB
setup.py 2KB
vision.py 2KB
pandas.py 2KB
uri_utils.py 2KB
test_callback_service.py 1KB
test_geometry.py 1KB
fasterrcnn_resnet50_fpn.py 1KB
test_dataset.py 1KB
test_io.py 1KB
io.py 1KB
base.py 1KB
test_resolver.py 1KB
testing.py 1KB
test_numpy.py 1KB
__init__.py 1KB
asserters.py 1017B
logging.py 904B
test_code_gen.py 846B
test_uri_utils.py 820B
reflection.py 802B
__init__.py 750B
__init__.py 750B
utils.py 745B
__init__.py 739B
conftest.py 726B
__init__.py 686B
__init__.py 682B
exceptions.py 679B
__init__.py 636B
__init__.py 614B
__init__.py 611B
__version__.py 611B
__init__.py 585B
__init__.py 585B
__init__.py 585B
__init__.py 585B
__init__.py 585B
__init__.py 0B
.pylintrc 18KB
共 168 条
- 1
- 2
资源评论
皮卡学长
- 粉丝: 76
- 资源: 4622
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功