国美技术总监牛路《云平台规划》

### 国美技术总监牛路《云平台规划》知识点总结 #### 一、基础技术 ##### 1.1 弹性计算 - **定义**: 弹性计算是云计算的一个核心特性，指的是根据业务需求自动调整资源的能力。这种能力体现在资源能够实时、动态地按照需求进行分配或回收。 - **特点**: - **资源池化**: 将各种物理资源（如计算、存储和网络资源）集合起来形成资源池，以便于管理和分配。 - **虚拟化**: 实现计算资源的虚拟化，通过虚拟机或其他形式提供计算资源。 - **自动化管理**: 提供自动化的工具和服务来简化部署过程，并确保配置的一致性和准确性。 ##### 1.2 弹性计算一期目标与成果 - **建设目标**: - 实现资源池化。 - 实现计算资源虚拟化。 - 提供符合业务需求的、高效稳定的虚拟机。 - **成果**: - 构建了国美的第一个私有云集群环境。 - 开发了集群环境自动部署工具，提高了部署效率和准确性。 - 实现了虚拟机分配代理服务接口，可以根据不同策略为业务系统分配虚拟机。 ##### 1.3 弹性计算一期-私有云集群架构 - **架构基础**: 基于开源 IaaS 平台 OpenStack 构建。 - **部署架构**: 当前资源规模下的 GMEC-OS 部署架构。 ##### 1.4 私有云 VM 规格 - **规格**: - **低配置**: 适用于对资源需求较低的业务系统。 - **标准配置**: 符合业界标准配置，适用于大多数业务系统。 - **高配置（平衡型）**: 应对对资源需求较高的业务系统。 - **高配置（存储）**: 提供较大的存储空间。 - **高配置（CPU）**: 适用于强计算类型的应用。 - **高配置（内存）**: 满足对内存需求较高的应用系统。 - **超高配置**: 在 CPU、内存和存储方面都有较高配置。 ##### 1.5 弹性计算二期计划 - **目标**: - 扩大资源池规模，避免独立小集群的出现。 - 提供跨数据中心的容灾策略。 - 能效优化，降低能耗。 - 使用 LVS 替换硬件负载均衡器，实现实时变更负载均衡中的后端配置。 #### 二、平台技术 ##### 2.1 文件系统和图片系统 - **关键技术组件**: - 文件系统、图片系统、CDN、分布式缓存、分布式消息队列、分布式数据库等。 - 自动部署、统一监控和统一日志等功能。 ##### 2.2 图片系统功能和价值 - **功能**: - 提升图片加载速度。 - 灵活处理图片（如添加水印、缩放、降低质量等）。 - 降低访问延迟，节约带宽。 - 全开发链条优化，包括前端加载优化、CDN优化、图片系统优化以及后端存储优化。 - **价值**: - 对电商业务来说，一个高可用、高性能、可扩展、可维护的图片系统至关重要。 - 节约成本并提升用户体验，提高转化率。 ##### 2.3 图片处理系统核心架构 - **核心组件**: - Cluster coordinator、data node、Java client、replica group、monitor、checker 和缓存 (cache)。 ##### 2.4 业界分布式小文件系统 - **特点**: - **成本更低**: 分布式文件系统通常部署在低成本服务器上，成本效益更高。 - **容量更大**: 利用大量低成本服务器组成超大容量存储集群。 - **性能更好**: 采用读写分离等措施提高性能。 - **高可用性**: 多副本、跨数据中心和跨机架部署确保数据永不丢失。 - **高可扩展性**: 可以随时添加数据节点和元数据节点，保证系统的动态伸缩。 - **可管理性**: 支持大规模节点的管理，包括上线、下线、恢复等操作。 - **示例系统**: - TFS - HayStack - JFS - FastDFS - GMFS - GFS 国美云平台规划涉及了从基础设施层到平台服务层的全面设计与实施。通过构建弹性计算能力、优化文件与图片系统，国美能够有效地支撑其电子商务业务的发展，提高系统的灵活性和响应速度，同时降低成本并增强用户体验。