[] - 2023-02-25 Google Brain新优化器“Lion”，效果要比Adam(W)更好.pdf

: "Google Brain新优化器‘Lion’，效果优于Adam(W)" : "本资源涉及kaggle教程，方案分析，以及竞赛资料，重点介绍了一个新的AI优化算法——Lion，该算法在多个AI任务和模型上表现出超越AdamW的性能，特别是在大规模模型训练和高效率方面具有优势。" : "kaggle 竞赛 AI 人工智能" 【正文】: Lion是Google Brain团队最新开发的一款优化器，它的设计目标是提供比现有优化器如AdamW更高的效率和性能。Lion的主要特点是简单、内存高效且运行速度快，这主要得益于它只需要存储动量，而不像AdamW等需要同时保存一阶和二阶矩。这一改变减少了内存占用，使得在训练大型模型和使用大Batch size时更为有利。例如，在训练ViT-B/16模型时，使用Lion只需要一半的TPU V4芯片数量就能达到与AdamW相同的效果。 在实际应用中，Lion展现出广泛的优越性能，覆盖了图像分类、视觉-语言对比训练、扩散模型和语言建模等多个领域。在ImageNet图像分类任务中，Lion不仅在从头开始训练的模型上超越AdamW，还在预训练模型的微调中取得了与更大型模型相当甚至更优的结果。同时，Lion在JFT-300M数据集上的预训练成本降低了5倍，显示了其在大规模数据训练中的效率。 在视觉-语言任务上，Lion在零样本图像分类和图像文本检索中打败了AdamW，实现了更高的准确率。在扩散模型的训练中，Lion的FID分数更优，训练计算成本降低高达2.3倍。此外，对于语言建模任务，Lion在验证困惑度上节省了计算量，且在更大的Transformer模型上效果更佳。 在超参数和批量大小的选择上，Lion简化了超参数设定，减少了与AdamW和Adafactor相比的参数数量。虽然Lion需要的初始学习率通常比AdamW低一个数量级，但其对超参数的选择不那么敏感，提供了更大的鲁棒性。Lion在不同批量大小下的表现也优于AdamW，尤其是在更大批量的情况下，其性能更佳，但即便在小批量情况下，也能保持稳定。 Lion优化器以其创新的设计和出色的性能，为AI模型的训练带来了新的突破，尤其在处理复杂模型和大数据量的任务时，其内存效率和计算速度的优势更为显著。对于kaggle竞赛参与者和AI研究者来说，Lion可能成为一个重要的工具，帮助他们在竞赛方案和模型优化中取得更好的成果。