没有合适的资源?快使用搜索试试~ 我知道了~
nd-direct-s3:直接从S3读取NDArrays
共26个文件
json:5个
py:5个
cpp:3个
需积分: 9 0 下载量 94 浏览量
2021-02-14
23:00:42
上传
评论
收藏 23KB ZIP 举报
温馨提示
张量器0.1 Tensorizer是一个库,可让您从支持的云存储(s3)加载张量,而无需跳至任何类型的posix文件系统。 这很有用,因为云主机通常对S3的访问比对文件卷(例如EBS)的访问要快得多。 例如,p3dn.24xlarge实例从S3读取时可以100 Gbps读取,但是从EBS读取时只能以14 Gbps读取。 相比之下,具有相对较快SSD的Macbook Air可获得约10 Gbps的连续读取速度。 这足够快以在训练精美的计算机视觉或NLP模型时加载张量吗? 我不知道,但我希望是。 加载大型数据集的传统方式是将它们以压缩格式存储在网络存储中,将它们复制到本地磁盘上,对其进行解压缩,然后运行许多数据转换,然后再将它们最终存储在张量中。 如果您可以提前进行所有必需的数据转换,并以可直接用于训练的格式将张量存储在S3中,则可以简化过程。 对您而言是否合适,可能取决于您的用例以及
资源推荐
资源详情
资源评论
收起资源包目录
nd-direct-s3-master.zip (26个子文件)
nd-direct-s3-master
LICENSE 11KB
.devcontainer
Dockerfile 3KB
devcontainer.json 994B
.gitignore 320B
README.md 3KB
utils
benchmark_tensor_reads.py 698B
tensor_constants.py 146B
__pycache__
aws_clients.cpython-38.pyc 377B
tensor_constants.cpython-38.pyc 309B
aws_clients.py 148B
generate_random_tensors.py 1KB
tensorizer
cpp
check_format.sh 97B
TensorizerCInterface.h 1KB
Tensorizer.cpp 4KB
.clang-tidy 3KB
.clang-format 4KB
TensorizerCInterface.cpp 513B
main.cpp 1KB
CMakeLists.txt 802B
Tensorizer.h 2KB
python
tensorizer.py 545B
__pycache__
tensorizer.cpython-38.pyc 1KB
.vscode
launch.json 929B
settings.json 2KB
tasks.json 317B
c_cpp_properties.json 940B
共 26 条
- 1
资源评论
chsqi
- 粉丝: 19
- 资源: 4655
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功