《动手做科研》面向科研初学者，一步一步地展示如何入门人工智能科研_hands-on-research-tutorial.zip

# 6. 如何开展和记录实验 > 导读: 当我们开始训练多个具有不同超参数的模型，我们就需要对实验开始进行管理。**我们将其分为三个部分：实验追踪、超参数搜索和配置设置**。我们将使用 Weights & Biases 来演示实验记录和追踪；然后，我们将利用 Weights & Biases Sweeps 对训练超参数进行超参数搜索；最后，我们将使用 Hydra 来优雅地配置我们日益复杂的深度学习应用。 > > 本次课程目的在于能够让你了解并实践如何将实验管理工具整合到你的模型训练工作流程中。 ## 本教程目标 1. 通过Weights & Biases管理实验记录 2. 使用 Sweeps 执行超参数搜索。 3. 使用 Hydra 管理复杂的配置。 ## 本教程内容 ### 0. 安装 ```python conda create --name l8 python=3.9 conda install -n l8 ipykernel --update-deps --force-reinstall conda install -n l8 pytorch torchvision torchaudio -c pytorch-nightly conda install -n l8 -c conda-forge wandb conda install -c conda-forge hydra-core ``` 或者用`pip install` 库 ### 1. 实验记录 大家是不是都曾遇到过这样的情况：如果没有良好的实验记录工具，我们最终也许会得到一个性能非常好的模型，但我们不记得其超参数选择，或者启动 100 个实验却无法轻松跟踪哪个模型表现最好，而实验跟踪工具能帮助我们解决这些问题。 **Logging** 通常来说我们在训练的过程中，通常会打印我们正在使用的超参数，以及模型训练时的损失+准确性。 ```python import random def run_training_run_txt_log(epochs, lr): print(f"Training for {epochs} epochs with learning rate {lr}") offset = random.random() / 5 for epoch in range(2, epochs): # 模拟训练过程 acc = 1 - 2 ** -epoch - random.random() / epoch - offset loss = 2 ** -epoch + random.random() / epoch + offset print(f"epoch={epoch}, acc={acc}, loss={loss}") # 进行一次学习率为0.1的训练运行 run_training_run_txt_log(epochs=10, lr=0.01) ``` 下面展示我们如何用Weights & Biases管理实验记录 #### Weights and Biases Weights & Biases 是： > “开发者构建更好模型、更快开发的机器学习平台。使用 W&B 的轻量级、可互操作的工具，可以快速追踪实验、版本化和迭代数据集、评估模型性能、复现模型、可视化结果并发现回归问题，并与同事分享发现。 > > 你使用哪种实验追踪工具不是一个标准答案：有人喜欢 Weights and Biases，简称 wandb：你可以按其最初的意图读作 w-and-b，或者读作 wan-db（因为它像数据库一样保存东西）。替代选择包括 Tensorboard、Neptune 和 Tensorboard。” 让我们开始使用wandb吧！ 系统可能会提示您创建账户，然后添加您的token。 ```python # Log in to your W&B account import wandb wandb.login() ``` 我们现在将在上面提供的函数进行修改，展示如何使用wandb。 ```python import random def run_training_run(epochs, lr): print(f"Training for {epochs} epochs with learning rate {lr}") wandb.init( # Set the project where this run will be logged project="example", # Track hyperparameters and run metadata config={ "learning_rate": lr, "epochs": epochs, }) offset = random.random() / 5 print(f"lr: {lr}") for epoch in range(2, epochs): # simulating a training run acc = 1 - 2 ** -epoch - random.random() / epoch - offset loss = 2 ** -epoch + random.random() / epoch + offset print(f"epoch={epoch}, acc={acc}, loss={loss}") wandb.log({"acc": acc, "loss": loss}) wandb.finish() run_training_run(epochs=10, lr=0.01) ``` 我们在这里使用 3 个函数：wandb.init、wandb.log 和 wandb.finish——它们各自的作用是什么？ - 我们在脚本开头调用一次 wandb.init() 来初始化新项目。这会在 W&B 中创建新的运行并启动后台进程来同步数据。 - 我们调用 wandb.log(dict) 将指标、媒体或自定义对象的字典记录到步骤中。我们可以看到我们的模型和数据如何随着时间的推移而演变。 - 我们调用wandb.finish来使运行完成，并完成所有数据的上传。 让我们看看在 wandb 网站上看到了什么，应该看到我们的准确性和损失曲线。  在我们的信息选项卡中，我们还应该能够看到配置和摘要，告诉我们 acc 和 loss 的最终值。  我们已经获得了两个不错的功能： 1. 能够看到循环每一步的准确性和损失如何变化。 2. 能够看到与运行相关的配置（超参数）。 3. 能够看到我们的运行最终获得的准确率acc和loss损失。 #### 多次实验 我们现在要增加一些复杂性。当我们通常训练模型时，我们会尝试不同的超参数。我们将调整的最重要的超参数之一是学习率，另一个可能是训练的轮数（epochs）。那么我们如何记录多个运行呢？ ```python def run_multiple_training_runs(epochs, lrs): for epoch in epochs: for lr in lrs: run_training_run(epoch, lr) # Try different values for the learning rate epochs = [100, 120, 140] lrs = [0.1, 0.01, 0.001, 0.0001] run_multiple_training_runs(epochs, lrs) ``` 正如你所看到的，这使用了我们上面已经写好的函数，以不同的学习率和epoch多次调用它。让我们看看我们得到了什么。 我们可以访问 wandb 的网站并进入表格选项卡。  在左边我们可以看到每一次的实验，点击进去，可以看到每一组的实验参数配置，比如我们选择第一组，happy-water-13，可以看到下面这个界面：  #### 模型保存和加载 我们经过不懈的努力终于获得了我们期望的结果！现在我们决定要使用其中一个训练好的模型。我们可以在 W&B 上查找该运行的配置，然后重新训练模型并保存它！但是，如果我们在运行时就保存了与其关联的模型，那该多好，这样我们就可以直接加载它，对吗？ 那么，我们应该如何实现这一点呢？我们可以使用 Weights & Biases 的 Artifacts 功能来跟踪数据集、模型、依赖项和结果，贯穿于整个机器学习流程的每一步。Artifacts 可以轻松获得文件更改的完整且可审核的历史记录。根据[文档](https://docs.wandb.ai/guides/artifacts)： Artifacts 可以被视为一个版本化的目录。Artifacts 要么是运行的输入，要么是运行的输出。常见的 artifacts 包括整个训练集和模型。可以将数据集直接存储到 artifacts 中，或者使用 artifact 引用指向其他系统中的数据，如 Amazon、或你自己的系统。 使用 4 行简单的代码来记录 wandb Artifacts非常容易： ```python wandb.init() artifact = wandb.Artifact(<enter_filename>, type='model') artifact.add_file(<file_path>) wandb.run.log_artifact(artifact) ``` 如果我们有一行用于保存 PyTorch 模型的代码： ```python model_path = f"model_{epoch}.pt" torch.save(model.state_dict(), model_path) ``` 我们可以修改它以将artifacts上传到 wandb 上。 ```python # Log the model to wandb model_path = f"model_{epoch}.pt" torch.save(model.state_dict(), model_path) artifact = wandb.Artifact(model_path, type='model') artifact.add_file(model_path) wandb.run.log_artifact(artifact) ``` 现在我们可以看到我们的模型checkpoint保存在 W&B 中：  我们还可以看到相关的元数据：  **练习** > 撰写代码，以便您可以在训练时保存前 3 个最佳模型。提示：参见[这里](How to save all your trained model weights locally after every epoch.ipynb)。 如果我们有保存的模型，我们