Spydra（测试版）
使用Google Compute Platform的临时Hadoop集群
描述
Spydra是“ Hadoop集群即服务”，实现为利用和。 Spydra的目的是启用临时Hadoop群集，同时隐藏群集生命周期管理的复杂性并简化故障排除过程。 Spydra被设计为集成为hadoop jar替代品。
Spydra是Spotify将其数据基础架构迁移到Google Compute Platform的工作的一部分，并且已在生产中使用。 Spydra的原理和设计基于我们在将Hadoop集群扩展和维护到2500多个节点和100 PB的容量（每天运行大约20,000个独立作业）的经验的基础上。
Spydra支持向Dataproc以及现有的本地Hadoop基础结构提交数据处理作业，并且旨在简化向Google Cloud Platform和本地基础结构的迁移和/或双重使用。
S
