matlab提取文件要素代码-fisher.info.mat.torch:fisher.info.mat.torch

matlab提取文件要素代码近似Fisher信息矩阵来表征深层神经网络的训练 该存储库在深度神经网络的训练过程中实现了Jacobian矩阵和近似Fisher信息矩阵（FIM）（也称为样本协方差矩阵）计算的功能。 雅可比矩阵可通过以下公式用于计算FIM： FIM = JJ^T ，我们可以导出特征值和FIM的条件数来表征网络的训练。 可以在中找到详细的说明。 此代码扩展了用于计算nn.linear，nn.BatchNormalization和nn.SpatialBatchNormalization层的Jacobian库的库。 它还扩展了用于计算cudnn.SpatialConvolution层的Jacobian的库。 可以使用以下格式找到各个图层的扩展名：layernameFullGrad。 请注意，还有许多其他可训练层，但是在此存储库中未考虑它们。 此代码是为培训ResNet和DenseNet兼容性而构建的。 安装 有关CUDA，CuDNN和Torch库的安装，请参考。 用法 训练网络 请首先克隆此存储库并运行： source run_experiments.sh 以训练具有0.1的学习