深度学习计算机视觉面试题目

目录

1.神经网络......................................................................................................................................................................................3

1.1 各个激活函数的优缺点？ ...............................................................................................................................................4

1.2 为什么 ReLU 常用于神经网络的激活函数？ .................................................................................................................4

1.3 梯度消失和梯度爆炸的解决方案？梯度爆炸引发的问题？.......................................................................................5

1.4 如何确定是否出现梯度爆炸？ .......................................................................................................................................5

1.5 神经网络中有哪些正则化技术？ ...................................................................................................................................5

1.12 为什么 Momentum 可以加速训练？............................................................................................................................7

1.13 什么时候使用 Adam 和 SGD？......................................................................................................................................7

1.14 batch size 和 epoch 的平衡 ............................................................................................................................................8

1.15 SGD 每步做什么，为什么能 online learning？ ............................................................................................................8

1.16 学习率太大(太小)时会发生什么？如何设置学习率？ ...............................................................................................8

1.17 神经网络为什么不用拟牛顿法而是用梯度下降？......................................................................................................8

1.18 BN 和 Dropout 在训练和测试时的差别? ......................................................................................................................9

1.19 若网络初始化为 0 的话有什么问题？ .........................................................................................................................9

1.20 sigmoid 和 softmax 的区别？softmax 的公式？...........................................................................................................9

1.21 改进的 softmax 损失函数有哪些？ ............................................................................................................................10

1.28 前馈神经网络(FNN),递归神经网络(RNN)和 CNN 区别? ..........................................................................................11

1.29 神经网络可以解决哪些问题？ ...................................................................................................................................11

1.30 如何提高小型网络的精度？ .......................................................................................................................................11

1.31 列举你所知道的神经网络中使用的损失函数 ...........................................................................................................11

1.32 什么是鞍点问题？梯度为 0，海森矩阵不定的点，不是极值点。 .....................................................................12

1.33 网络设计中，为什么卷积核设计尺寸都是奇数？....................................................................................................12

2.CNN ............................................................................................................................................................................................12

2.1 卷积神经网络的结构 .....................................................................................................................................................12

2.2 Keras 搭建 CNN...............................................................................................................................................................12

2.2 经典网络分类 .................................................................................................................................................................13

2.3 卷积层有哪些基本参数？ .............................................................................................................................................16

2.4 如何计算卷积层的输出的大小？ .................................................................................................................................16

2.5 如何计算卷积层参数数量？ .........................................................................................................................................16

2.6 有哪些池化方法？ .........................................................................................................................................................16

2.7 1*1 卷积的作用？ ..........................................................................................................................................................16

2.8 卷积层和池化层有什么区别？ .....................................................................................................................................16

2.9 卷积核是否一定越大越好？ .........................................................................................................................................17

2.10 卷积在图像中有什么直观作用? .................................................................................................................................17

2.11 CNN 中空洞卷积的作用是什么？ ...............................................................................................................................17

2.12 怎样才能减少卷积层参数量？ ...................................................................................................................................17

2.19 卷积层和全连接层的区别？ .......................................................................................................................................19

2.20 Max pooling 如何工作？还有其他池化技术吗？ ......................................................................................................19

2.21 卷积神经网络的优点？为什么用小卷积核？ ...........................................................................................................19

2.22 CNN 拆成 3x1 1x3 的优点？ ........................................................................................................................................19

2.23 BN、LN、IN、GN 和 SN 的区别？ ..............................................................................................................................19

3.RNN ............................................................................................................................................................................................20

3.1 RNNs 训练和传统 ANN 训练异同点？ ..........................................................................................................................21

3.2 为什么 RNN 训练的时候 Loss 波动很大? ...................................................................................................................21

3.3 RNN 中为什么会出现梯度消失？ .................................................................................................................................21

3.4 如何解决 RNN 中的梯度消失问题？ ............................................................................................................................21

3.5 CNN VS RNN ....................................................................................................................................................................21

4.LSTM...........................................................................................................................................................................................22

4.4 RNN 扩展改进.................................................................................................................................................................23

4.4.1 Bidirectional RNNs................................................................................................................................................23

4.4.2 CNN-LSTMs ...........................................................................................................................................................24

4.4.3 Bidirectional LSTMs ..............................................................................................................................................24

4.4.4 GRU.......................................................................................................................................................................24

4.5 LSTM、RNN、GRU 区别？.............................................................................................................................................24

4.7 LSTM 的原理、写 LSTM 的公式、手推 LSTM 的梯度反向传播 ..................................................................................25

5.反向传播....................................................................................................................................................................................25

5.1 什么是反向传播？ ........................................................................................................................................................25

6.3 训练技巧.........................................................................................................................................................................28

7.超参数调整................................................................................................................................................................................29

7.1 神经网络中包含哪些超参数？ .....................................................................................................................................29

7.2 为什么要进行超参数调优？ .........................................................................................................................................29

7.3 超参数的重要性顺序 .....................................................................................................................................................29

7.4 极端批样本数量下，如何训练网络？ .........................................................................................................................29

7.5 合理使用预训练网络 ....................................................................................................................................................30

7.5.1 什么是微调（fine-tune） ..................................................................................................................................30

7.5.2 微调有哪些不同方法？ ......................................................................................................................................30

7.5.3 微调先冻结底层，训练顶层的原因？ .............................................................................................................30

1.神经网络

1.1 各个激活函数的优缺点？

1.2 为什么 ReLU 常用于神经网络的激活函数？

1.在前向传播和反向传播过程中，ReLU 相比于 Sigmoid 等激活函数计算量小；

2.避免梯度消失问题。对于深层网络，Sigmoid 函数反向传播时，很容易就会出现梯度消失问题（在 Sigmoid

接近饱和区时，变换太缓慢，导数趋于 0，这种情况会造成信息丢失），从而无法完成深层网络的训练。

3.可以缓解过拟合问题的发生。Relu 会使一部分神经元的输出为 0，这样就造成了网络的稀疏性，并且

减少了参数的相互依存关系，缓解了过拟合问题的发生。

4.相比 Sigmoid 型函数，ReLU 函数有助于随机梯度下降方法收敛。

为什么需要激活功能？

梯度爆炸：前面 layer 的梯度通过训练变大，而后面 layer 的梯度指数级增大。

①在深度多层感知机(MLP)网络中，梯度爆炸会引起网络不稳定，最好的结果是无法从训练数据中学习，

而最坏的结果是出现无法再更新的 NaN 权重值。

②在 RNN 中，梯度爆炸会导致网络不稳定，无法利用训练数据学习，最好的结果是网络无法学习长的

输入序列数据。

1.4 如何确定是否出现梯度爆炸？

模型不稳定，导致更新过程中的损失出现显著变化；

训练过程中模型梯度快速变大；

训练过程中模型权重变成 NaN 值；

训练过程中，每个节点和层的误差梯度值持续超过 1.0。