Amazon Kinesis通过Kinesis Analytics进行扇出-用
Amazon Kinesis Analytics可以扇出您的Kinesis Streams并避免读取限制。
每个Kinesis Streams分片可支持的最大总数据读取速率为2 MBps (最多5个事务),并且最大的总数据写入速率为1 MBps (最多1,000条记录)。 即使您提供了足够的写入容量,也无法随意连接任意数量的使用者,尤其是使用AWS Lambda,因为您将轻松达到读取容量。
例如,如果您有10个分片,并且每秒推送8,000个事件,每个事件平均大小为1KB,那么您将达到写入容量的80%(10MBps中有8MBps)。 如果您连接了三个使用者,那么您将尝试读取大约24MBps(高于最大读取容量20MBps)。
您可以使用AWS Lambda(资源)实现扇出,但是您必须自己处理API调用并重试问题,以避免跨输出通道重复事件。
该存储库是一个参考体系结构,用于解决Kinesis Analytics的扇出问题,后者可以将数据从输入流传输到多个输出流(或Firehose交付流)。
(图像来
评论0
最新资源