编程报错/软硬件故障常见问题解决集合
TensorFlow 编程报错
环境
- 操作系统：Ubuntu 20.04 LTS
- 编程语言：Python 3.8
- 硬件：带有 NVIDIA 显卡的计算机，安装了 NVIDIA 驱动和 CUDA 工具包
问题描述
在使用 TensorFlow 进行深度学习训练时，出现以下报错：
2023-10-10 12:34:56.789012: E tensorflow/stream_executor/cuda/cuda_dnn.cc:384]
CUDNN_STATUS_ALLOC_FAILED
训练过程无法继续，程序直接崩溃。
问题分析
这个报错通常表明 CUDA 或 cuDNN(用于加速深度学习计算的库)在分配显存时失败了。这通
常是由于显存不足或显存被其他进程占用引起的。
解决方案
1. 检查显存占用情况：
使用`nvidia-smi`命令来检查当前显存的使用情况。终端输入以下命令：
nvidia-smi
查看显存占用情况，确定是否有其他进程占用了大量显存。
2. 杀死占用显存的进程：
如果有不必要的进程占用了较多显存，可以终止它们。假设进程 ID 为`1234`，使用以下
命令杀死进程：
kill -9 1234
3. 降低批处理大小(batch size)：
在模型的训练代码中，找到设置批处理大小的地方，将批处理大小调小。例如：
model.fit(train_dataset, epochs=10, batch_size=16)
将`batch_size`参数调小，比如从`32`降低到`16`。
4. 释放显存：
在某些情况下，TensorFlow 在运行完一个 session 后可能不会立即释放显存。可以尝试
手动释放显存：
import tensorflow as tf
tf.keras.backend.clear_session()
5. 重启计算机：
资源评论
