没有合适的资源?快使用搜索试试~ 我知道了~
s3sync:真正快速的S3同步工具
共31个文件
go:21个
yml:3个
license:1个
5星 · 超过95%的资源 需积分: 22 7 下载量 57 浏览量
2021-05-14
15:17:14
上传
评论
收藏 44KB ZIP 举报
温馨提示
S3Sync 真正快速的S3同步工具 特征 多线程文件下载/上传 可以同步到多种方式: S3到本地FS 本地FS到S3 S3至S3 重试错误 实时统计 速率限制 带宽限速 扩展,内容类型,ETag和对象mtime灵活的过滤器 关键功能:极高的速度。 S3的平均列出速度约为5k个对象/秒。 有了128名工作人员,我们得到的平均同步速度约为2k obj / sec(小对象1-20 kb)(受1Gb上行链路限制)。 局限性 每个对象都加载到RAM中。 因此,您需要<avg> * <workers> RAM。 如果没有足够的RAM,则可以使用swap。 SSD上的大型(32-64 Gb)交换不会影响工具性能。 发生这种情况是因为该工具旨在同步数十亿个小文件,并针对此工作负载进行了优化。 用法 >> s3sync --help Really fast sy
资源推荐
资源详情
资源评论
收起资源包目录
s3sync-master.zip (31个子文件)
s3sync-master
.travis.yml 745B
.goreleaser.yml 700B
pipeline
collection
list.go 436B
download.go 1KB
upload.go 579B
filter.go 8KB
misc.go 3KB
step.go 1KB
error.go 2KB
main.go 4KB
.github
workflows
codeql-analysis.yml 3KB
Dockerfile 324B
LICENSE 34KB
storage
storage.go 2KB
error_handling.go 1001B
fs
utils_unsupported.go 156B
utils_freebsd.go 291B
utils_base.go 271B
fs.go 6KB
s3
s3.go 7KB
retryer.go 1KB
utils.go 2KB
.gitignore 350B
go.sum 5KB
.dockerignore 43B
README.md 9KB
go.mod 402B
cli
cli.go 9KB
setup.go 6KB
main.go 3KB
print.go 2KB
共 31 条
- 1
资源评论
- 尹子先生2023-07-25使用s3sync工具后,我能够轻松地同步我的S3存储桶,无需花费太多时间和精力。
- 张博士-体态康复2023-07-25我对s3sync提供的功能很满意,它帮助我将本地文件快速备份到S3,确保了数据的安全性。
- xhmoon2023-07-25这个文件提供了一个可靠的S3同步解决方案,让我的工作变得更加高效。
- 养生的控制人2023-07-25这个文件很实用,它简化了S3同步的过程,让我能够更加专注于我的工作,而不是被繁琐的同步任务困扰。
- AIAlchemist2023-07-25s3sync工具的性能令人印象深刻,它能够快速同步大量的文件,真正节省了我的时间。
唐荣轩
- 粉丝: 42
- 资源: 4625
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 农场的农作物产量数据集(3K+ 记录,6特征)CSV
- 农作物产量推荐数据集(2K+记录,8特征)CSV
- 小飞兔:一键克隆网站的强大工具
- 中国科学技术大学大数据算法课程笔记2023.zip
- 帕金森病的神经活动数据集(400+记录,9特征)CSV
- 全球假期和旅行数据集(51K+记录,12特征)CSV
- 烹饪配方数据集(5k记录,20特征)CSV
- 基于java+springboot+mysql的穿戴搭配系统开题报告.docx
- 情绪和情感分析数据集(情绪:422k+句子,6类情绪,情感:3K+样本)CSV
- 税务风险识别数据集(1K记录,13特征)CSV
- 睡眠时间预测数据集(2K+ 记录,7特征)CSV
- 睡眠呼吸紊乱检测数据集(1K+记录,18特征,3文件)CSV
- 饮食推荐数据集(1K 记录,17特征)CSV
- 学生行为监测数据集(3K 记录,17特征)CSV
- 新能源汽车(NEV)故障诊断数据集(11K+ 记录,8特征)CSV
- 孕产妇健康和高危妊娠数据集(1K 记录,18特征)CSV
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功