精彩实例：51job数据库系统架构实践

### 51job数据库系统架构实践 #### 一、51JOB网站业务介绍 51JOB作为一家知名的人力资源服务平台，在线招聘是其核心业务之一。随着互联网技术的发展及用户规模的不断扩大，51JOB面临着巨大的访问量与数据处理压力。为了保障系统的稳定性和可靠性，提高用户体验，51JOB在数据库系统架构方面进行了大量的实践探索。 #### 二、数据库系统架构介绍 51JOB采用了“3+1”模式的数据库架构设计，即三台主机和一台备机组成的数据中心。具体而言，数据库层包括两台主数据库（Primary）和一个备用数据库（Standby），通过Oracle的数据保护技术Data Guard来实现高可用性与容灾备份功能。 - **主机层**：由三台服务器构成，确保在一台主机出现问题时能够迅速切换到其他主机上继续提供服务。 - **数据库层**： - **两台Primary库**：主要负责日常的读写操作，并且能够互相备份数据，确保数据安全。 - **一个Standby库**：在主库出现故障时能够快速接管服务，实现零数据丢失的目标。 这种架构的优点在于结构简单可靠，不存在单点故障的问题。同时，Data Guard技术可以实现快速切换，大大提高了系统的稳定性和可靠性。但是，该架构也存在一定的缺点，如处理能力相比传统的单库模式有所下降，另外还需要额外的一台小型机作为备机，增加了成本。 #### 三、日常监控与维护管理 为了保证系统的稳定运行，51JOB实施了一系列的监控措施和技术手段进行日常的性能监控和维护。 - **监控范围**：主要包括业务监控、网络&主机监控以及数据库监控三个方面。 - **业务监控**：关注业务层面的指标，如页面响应时间、用户活跃度等。 - **网络&主机监控**：监测网络带宽使用情况、服务器负载、CPU利用率等。 - **数据库监控**：监控数据库的性能指标，如查询响应时间、事务处理速度等。 - **监控工具**：使用了多种工具进行监控，例如9top、9sar、9iostat、9vmstat、9glance等用于主机性能监控；利用crontab和shell脚本自动执行sar、iostat等命令收集数据；还使用Oracle自带的工具如v$_xxx、dba_xxx等进行数据库性能监控；并通过AWR报告对数据库的性能进行深入分析。 - **性能监控示例**： - **主机性能监控**：通过9top、9sar等工具监测主机的负载情况，如下图所示，可以看出一周内主机负载的变化趋势。 - **数据库性能监控**：使用AWR报告分析数据库的性能瓶颈，如下图展示了数据库事务数量随时间变化的情况，可以帮助管理员判断系统峰值期。 - **日常维护**： - **定期数据清理**：为了释放存储空间并提高系统性能，定期清理过期或不再使用的数据是非常必要的。可以通过创建历史表的方式来存档旧数据，或者使用Oracle提供的工具如exp/expdp进行数据导出导入操作。 - **对象重构**：定期进行表、索引的收缩操作，可以有效减少空间占用，提升查询效率。同时，对于大型表可以采用分区技术来提高管理效率。 - **SQL优化审核**：据统计，大约80%的性能问题来源于SQL语句本身。因此，在上线前后都需要对SQL语句进行严格的审核与优化，确保其高效执行。 #### 四、总结 通过以上实践，51JOB成功地构建了一个稳定可靠的数据库系统架构，不仅解决了高峰期系统超负荷的问题，还极大地提升了用户的体验。总结几点经验教训： - 在设计架构时要考虑实际情况，选择最适合自己的方案。 - 预防比补救更为重要，建立完善的监控体系可以在问题发生前就得到解决。 - 不断学习新技术，适应业务发展需求。 这些实践经验对于任何需要处理大规模数据的企业都有很大的参考价值。