5-4+我们是如何支撑起上千个Pegasus集群的——工程篇.pdf

【Pegasus 集群支撑】 Pegasus 是一款分布式键值存储系统，被神策数据选中作为其私有化部署下的核心存储解决方案。神策数据是一家专注于大数据分析和营销科技服务的企业，提供神策营销云、神策分析云、神策数据根基平台等产品，服务于中大型互联网企业和传统企业，支持云版、单机版以及不同规模的集群部署。 【历史与背景】 神策分析在2015年推出，随着时间的推移，产品矩阵不断升级，2018年进行了架构升级并推出了神策智能推荐和神策用户画像。随着业务的发展，神策面临着日益增长的数据存储需求，特别是对于id-mapping功能的需求，这涉及到用户的标识转换，对数据质量和关键指标（如日活跃用户）有着直接影响。 【id-mapping 存储演进】 起初，id-mapping 使用 Redis 单实例进行存储，因内存占用高和易失性问题，随着客户规模扩大，逐渐过渡到 Redis 分布式方案（最初是 Redis Sentinel，后来是 Redis Cluster）。然而，随着数据量的增加，内存占用过高成为挑战。2017年，神策开始使用 SSDB 作为替代，因为SSDB兼容Redis且内存占用更少，但SSDB的单点问题和IO压力限制了其进一步扩展。 【Pegasus 的引入】 为了解决存储需求，神策选择了 Pegasus，因为它具备以下特性： 1. 分布式存储，支持高可用性和水平扩展。 2. 数据持久化，确保数据不丢失。 3. 提供良好的读写性能。 4. 内存管理可控，有内存上限，降低内存占用。 5. 系统稳定性高，有成熟的运维监控工具。 6. 支持批量操作，如mget和mset。 7. 开源社区，学习和使用成本较低。 8. 提供相对低成本的迁移方案。 【Pegasus 应用场景】 Pegasus 不仅用于id-mapping，还在渠道追踪、多租户在线服务、首日首次标记、用户画像基础服务等多个业务场景中发挥作用。例如： - 渠道追踪：追踪用户来源，处理与客户数据量强相关的QPS，并支持不同有效期的数据存储。 - 多租户在线服务：应对表数量不确定、流量不均匀的多租户架构，提供高效服务。 - 首日首次标记：记录用户首次触发事件，可能涉及批量更新操作。 - 用户画像基础服务：提供高效查询接口，存储用户属性数据，对长数据和大量属性提供宽容度。 【总结】 神策数据通过不断优化存储策略，从Redis到SSDB，最终选择了Pegasus来应对大规模的id-mapping和其他键值存储需求。Pegasus的分布式、高可用、可扩展和低内存占用特性使其成为神策在私有化部署中的理想选择，同时支持各种业务场景，确保了服务的稳定性和效率。