s3-uploader:并发流式上传到 Amazon S3

s3_uploader 使用并发、分段上传从 stdin 流式传输到 S3。 旨在用于传输数据相当缓慢的源（如 RDS 转储），因此获取初始数据是主要瓶颈。 使用并发分段上传尽可能快地上传大文件也很有用。 传统上（例如，使用 s3cmd）您必须等待获取所有数据（可能对其进行压缩），写入本地临时文件，然后将此文件上传到 S3 - 整体或多部分 [1]。 使用 s3_uploader，您可以通过标准输入（如有必要，在管道中更早地压缩/加密）和 s3_uploader 将数据通过管道传输到临时文件，当达到 chunk_size 时，将生成一个 goroutine 将该块上传到 S3。 通过根据输入速率和 S3 上传速度调整块大小 [2]，您基本上可以在数据传入时将数据流式传输到 S3，而无需先将整个内容存储为临时文件。 只要您有合理数量的临时磁盘空间，就可以使用任何大小的数据源（只有少量