s3-to-redshift:库和工作人员负责将s3中的数据传输到redshift中。 包括表的创建和操作以及基于时间的插入

s3-红移 s3-to-redshift负责将数据从s3同步到AWS Redshift中以进行数据分析。 注意：此存储库以前称为redshifter ，但已进行了修改，以适应稍有不同的设计模式。 动机 是基于列存储的数据仓库解决方案。 它针对分析和商业智能进行了优化，并具有许多有用的集成。 但是，将大量数据导入Redshift可能很棘手，并且需要很多步骤，例如： 在Redshift修改表格 修改收集数据的任何过程 修改将数据提交到Redshift任何过程 我们正在尝试通过自动操作来减少添加或修改进入Redshift的数据的工作量： 查找最新数据 如有必要，修改目标Redshift表 通过使用COPY命令有效地加载s3数据来刷新最新的Redshift数据（请参阅： granularity标志） 跑步 我们基于可能在生产环境中运行环境变量和命令行标志的现实方法对其进行了拆分。 本质上