跨数据中心的数据库双活及灾备建设经验分享

### 跨数据中心的数据库双活及灾备建设经验分享 #### 一、项目背景与目标 ##### 1.1 背景 随着信息技术的快速发展，金融行业面临着日益严峻的安全挑战和技术变革。对于银行而言，确保核心系统的稳定性和可靠性至关重要。传统的容灾方案存在诸多痛点，如切换时间过长、资源闲置率高以及操作风险较大等问题，这些都可能对银行业务连续性和客户满意度造成负面影响。 - **切换时间太长**：当主数据中心发生故障时，需要较长时间才能将服务切换到备用数据中心，导致服务中断。 - **资源闲置率高**：备用数据中心通常处于待命状态，大部分时间资源利用率较低。 - **操作风险太大**：切换过程中可能会出现误操作或其他技术问题，增加风险。 为了解决这些问题，民生银行决定采用数据库双活技术来构建一个更为高效、可靠的数据中心体系。 ##### 1.2 优势 数据库双活技术相比传统的容灾方案有着显著的优势： - **系统可用性高**：能够实现在两个数据中心之间实时同步数据，确保数据的一致性和完整性，提高系统的整体可用性。 - **资源利用率提升**：两个数据中心都可以同时处理业务请求，有效避免了资源闲置的情况。 - **无切换过程，消除操作风险**：由于不存在主备切换的过程，从而减少了因切换而带来的潜在风险。 ##### 1.3 难点 尽管数据库双活技术具有诸多优势，但在实际应用中也面临着不少挑战： - **连接负载均衡**：如何在两个数据中心之间合理分配用户请求，确保每个数据中心都能高效处理。 - **应用透明性**：如何确保整个双活架构对上层应用是透明的，不会影响其正常运行。 - **延时影响**：如何克服两个数据中心之间的物理距离所导致的网络延时问题，保持良好的用户体验。 - **内存同步**：如何在两个数据中心的数据库节点之间保持内存数据的同步，保证数据的一致性。 - **数据一致性**：如何确保在任何情况下，两个数据中心的数据都能够保持一致。 #### 二、体系架构 ##### 2.1 技术特点 为了实现数据库双活的目标，民生银行采用了以下关键技术： - **基于x86/power开放平台**：利用成熟的硬件平台，确保技术的兼容性和可扩展性。 - **双中心交易对等**：在两个数据中心之间实现交易的对等处理，减少主备切换的需求。 - **降低同城切换时间**：通过优化网络和存储架构，大幅缩短了切换所需的时间。 - **基础设施重大变更不停机**：在进行基础设施升级或维护时，能够保证业务的连续性。 - **多租户的运营模式**：支持不同业务部门或租户之间的隔离，提高资源利用率。 - **平台对业务系统透明**：整个双活架构的设计尽可能不影响现有的业务系统，简化运维工作。 - **安全稳定运行**：通过多层次的安全控制措施，保障系统的稳定性和安全性。 ##### 2.2 逻辑架构 采用db2 pureScale技术作为核心组件，通过分布式网络文件系统屏蔽底层存储差异，实现了数据的高效同步和管理。 ##### 2.3 物理部署 采取“两地三中心”的部署策略，即在一个城市内设立两个数据中心，在另一个城市设立一个备份中心。其中，同城的两个数据中心实现双活，异地的数据中心用于数据备份和灾难恢复。 ##### 2.4 上线策略 为了确保平稳过渡至新的架构，民生银行采取了分阶段的上线策略。通过修改F5负载均衡器配置，将流量引导至新的数据中心；逐步停止旧数据中心的服务，并将数据迁移至新的数据中心；重新启动服务，并完成最终的切换。 #### 三、技术创新特点 - **Single Database View**：通过单一数据库视图技术，用户可以像操作单个数据库一样访问分布在多个数据中心的数据。 - **Log Shipping**：利用日志传送技术实现数据的异步复制，确保数据一致性的同时减轻主数据中心的压力。 - **RoCE vs InfiniBand**：选择使用RoCE (RDMA over Converged Ethernet) 或 InfiniBand 技术来提高数据传输效率和降低延时。RoCE的优势在于可以在长距离内进行高效传输，且无需额外的扩展设备支持，增加了灵活性。 #### 四、物理设备 为了支撑这种架构，民生银行部署了一系列高性能的硬件设备，包括： - **服务器集群**：使用4+2台P750服务器构建跨中心数据库服务器集群环境。 - **私有网络**：8台Cisco Nexus服务器构建跨中心ROCE私有网络。 - **存储网络**：2台VMAX存储搭建跨中心复制存储网络。 - **网络连接**：通过鹏博士和马坡打通两个数据中心之间的生产网络。 #### 五、横向扩展能力 通过横向扩展技术，民生银行可以根据业务需求灵活调整资源分配，实现动态扩容。具体来说，可以通过增加更多的成员服务器(member)来分散负载，保证系统的高可用性和高性能。 民生银行通过实施数据库双活技术和灾备建设，不仅提高了系统的可靠性和稳定性，还增强了自身的竞争力和服务水平，为其他金融机构提供了宝贵的经验参考。