OGAI详解：AIStation调度平台如何实现大模型高效长时间持续训练

大模型是当前通用人工智能产业发展创新的核心技术，目前国内已发布的生成式AI模型超过了100个。面向以大模型为核心的生成式AI开发与应用场景，近日浪潮信息发布了大模型智算软件栈OGAI（Open GenAI Infra）——“元脑生智”，为大模型业务提供了全栈全流程的智算软件栈，包括AI算力系统环境部署、算力调度保障、模型开发管理等。OGAI软件栈由5层架构组成，从L0到L4分别对应于基础设施层的智算中心OS产品、系统环境层的PODsys产品、调度平台层的AIStation产品、模型工具层的YLink产品和多模纳管层的MModel产品。 【OGAI详解：AIStation调度平台如何实现大模型高效长时间持续训练】 大模型在当前的人工智能领域扮演着至关重要的角色，随着技术的发展，国内已发布超过100个生成式AI模型。针对这一趋势，浪潮信息推出了OGAI（Open GenAI Infra）——“元脑生智”，这是一个专为大模型业务打造的全栈全流程智算软件栈。该软件栈分为五个层次：L0至L4，涵盖了基础设施、系统环境、调度平台、模型工具以及多模纳管等多个层面，旨在提升AI算力系统环境部署、算力调度及模型管理效率。 其中，L2层的AIStation是专为大模型开发设计的AI算力调度平台。AIStation针对大模型训练中的资源调度、流程保障和管理进行了优化，具备断点续训功能，确保训练能够长时间持续进行。例如，AIStation支持浪潮信息的“源”大模型训练，使其算力效率达到了44.8%。此外，某大型商业银行利用AIStation构建的大规模并行运算集群，成功提升了其大模型训练效率，并获得了2022年IDC“未来数字基础架构领军者”奖项。 大模型训练面临的挑战主要有三个方面： 1. **算力成本和利用率难题**：大模型训练需要大量的计算资源，如GPT-3和“源1.0”模型的训练都涉及到数千个GPU。然而，随着算力的增加，计算平台的性能可能无法线性提升，因此需要高效的调度策略来最大化算力利用率。 2. **网络兼容适配**：大模型训练涉及大量GPU间的通信，不同类型的网络方案（如InfiniBand和RoCE）各有优缺点。选择合适的网络方案并进行适配对于实现高效通信至关重要。 3. **训练稳定性和系统优化**：由于大模型训练过程复杂，训练周期长，对系统的稳定性、故障恢复能力和自动化管理提出了高要求。例如，Meta在训练OPT-175B模型时就遇到了训练中断的问题，突显了训练稳定性和断点续训的重要性。 为了解决这些挑战，AIStation提供了以下解决方案： - **资源调度优化**：AIStation能够智能调度集群资源，根据模型训练需求动态分配计算和存储资源，确保训练过程中的资源利用率最大化。 - **网络通信优化**：AIStation支持多种高性能网络协议，如InfiniBand和RoCE，以适应不同场景下的通信需求，提升通信效率。 - **训练流程保障**：AIStation具有强大的训练稳定性，包括故障检测、快速恢复和断点续训功能，确保长时间训练的连续性。 - **系统级优化**：AIStation简化了大模型分布式任务的提交流程，实现了自动化任务资源匹配，增强了训练的健壮性。 通过AIStation，用户可以更有效地管理和运行大模型训练任务，降低训练成本，缩短训练周期，同时提升模型的训练质量和稳定性。AIStation作为OGAI软件栈的关键组成部分，为大模型的持续创新和高效训练提供了强大的支撑。