汇报-从大数据云原生看云原生运维趋势.pdf

【大数据云原生运维趋势】 随着云原生技术的发展，大数据领域也在逐渐接纳并融入这一新潮流。云原生运维旨在通过现代化的工具和技术，提高运维效率，降低运维复杂性，实现更敏捷、更智能的数据处理。在GOPS全球运维大会2021深圳站的分享中，阿里巴巴的高级技术专家徐小飞详细阐述了从大数据的角度看云原生运维的趋势。 大数据云原生的关键在于架构的演进。从传统的YARN到Kubernetes的转变，标志着大数据处理平台正逐步采用微服务架构。YARN作为Hadoop的资源管理系统，主要处理批处理任务，而Kubernetes则提供了更为灵活的容器编排能力，支持更广泛的工作负载，包括大数据应用。同时，Operator模式的引入，使得大数据系统的管理和运维更加自动化和智能化。 资源与业务的分离是云原生的一大特征。在云环境中，通过Node层的统一资源池和业务Namespace化的隔离，可以更好地实现资源的分配和管理。这使得运维团队能够专注于业务逻辑，而不再被底层基础设施的复杂性所困扰。两层交付与运维的模式，即资源层和应用层的独立，进一步简化了大数据系统的运维流程。 云原生运维的价值在于“数智”化。通过DataOps，运维人员能够实现对大数据系统的量化管理，收集和分析大量的运维数据，以提升数据处理的效率和质量。同时，AIOps（人工智能运维）的运用，使得系统具备自我学习和预测能力，可以自动识别并解决潜在的问题，减少人工干预，提升整体运维的智能化水平。 在资源层面，云原生运维强调云资源的抽象和统一管理。通过Kubernetes这样的云操作系统，企业可以将CPU、内存、网络和存储等硬件资源，以及各种软件工具进行整合，形成统一的资源管理层。Kubernetes不仅是个容器编排工具，更是定义了一套标准，成为云原生应用的基础。 应用层面，云原生强调快速、高效和节约。通过DevOps实践，开发者可以按照标准提供应用制品，而运维团队借助PaaS平台，实现应用的快速交付和生命周期管理。这涵盖了从代码开发、测试、发布到线上运营的全链路，确保了应用的稳定性和高可用性。 云原生运维平台自身也需要云原生化，以提供更强大的PaaS底座和中台服务。运维工作台、监控、变更发布、故障自愈等各项功能均应集成到云环境中，实现全面的自动化和智能化。 云原生运维趋势是大数据时代的一个重要方向，它将推动运维工作走向标准化、自动化和智能化，为企业带来更高的运维效率和更低的运营成本。随着技术的不断进步，云原生运维将进一步普及，为更多的企业提供高效、安全的大数据处理和管理解决方案。