CS6910-A1

从头开始的神经网络 作业1：深度学习基础 我们在python中使用numpy从零开始实现了一个神经网络。 该代码可在名为Assignment1.ipynb的ipython笔记本中使用。 我们在这里解释代码以及如何使用它来再现结果。 激活功能 我们已经实现了S型，tanh，ReLU和线性激活函数以及它们的梯度。 损失函数 当应用softmax函数时，我们已经实现了交叉熵和均方误差损失及其梯度。 重量初始化 我们已经实现了随机和Xavier权重初始化方法。 优化器 我们已经实现了sgd ，动量， nesterov ， rmsprop ， adam和nadam优化器，用于训练神经网络。 图层类 此类包含神经网络中一层的信息。 一层对象可以创建为 new_layer = layer(neurons,input_neurons,activation="sigmoid",weight_init="xa