学界-RESBINNET：剩余二元神经网络1

【ResBinNet：剩余二元神经网络】 在深度学习领域，神经网络的高效执行和内存利用率是关键问题，尤其是在资源受限的设备上。二元神经网络（Binarized Neural Networks, BNNs）因其极端的量化特性——权重和激活值仅用0或1表示——而受到广泛关注，因为它们可以显著降低计算复杂性和存储需求。然而，BNNs通常面临收敛速度慢和精度损失的挑战。为了解决这些问题，研究者提出了ResBinNet，一种结合了残差二值化和温度调整的新型二元神经网络架构。 **残差二值化** 是ResBinNet的核心组成部分，它引入了多级二进制表示来学习神经网络层中的特征映射。传统的一级二值化将每个特征映射简化为单个二进制值，而残差二值化允许特征映射有更丰富的表达能力，通过学习多个二进制级别来近似原始连续权重。这一过程类似深度学习中的残差学习，通过逐层累加非线性变换，使得网络能够更有效地学习复杂的模式，同时避免梯度消失问题。 **温度调整** 是另一种关键策略，它通过在训练过程中逐步将权重二值化来改善网络性能。这种逐步逼近二进制值的过程模仿了softmax函数中的“温度”概念，即在网络训练初期，权重可以以较高的“温度”（更大的连续范围）变化，随着训练的进行，“温度”逐渐降低，权重趋向于二进制值。这样，网络可以在保持一定程度的灵活性的同时，逐渐适应二值化的限制。 ResBinNet的实验部分展示了这些技术的实证效果。研究者构建了一个原型硬件加速器来验证其可行性和可扩展性，该加速器可以根据二值化特征的数值精度进行动态配置，从而在推理速度和精度之间进行权衡。通过比较不同层级的残差二值化，他们展示了如何在资源利用和性能之间找到最佳平衡点。 表1列出了评估基准网络架构，如3x3卷积层（C64）、2x2最大池化层（M P）和512个输出的全连接层（D512），以及ResBinNet中的残差二值化层（RB）。表2则对比了ResBinNet与其他模型在模型大小、训练周期和准确性上的差异，证明了ResBinNet在保持良好精度的同时，降低了模型复杂性。 图7(a)展示了在Xilinx ZC706评估套件上实现ResBinNet时的资源利用率，与传统基线设计相比，ResBinNet在不同残差水平下有不同的资源开销。图7(b)进一步说明了ResBinNet在延迟和精度之间的折衷关系，揭示了调整残差级数对系统性能的影响。 ResBinNet通过残差二值化和温度调整，成功地提升了二元神经网络的训练速度和预测精度，同时减少了硬件实现的复杂性和资源消耗，为轻量化、高效的深度学习解决方案提供了新的思路。这一创新方法对于在嵌入式设备和边缘计算场景中部署深度学习模型具有重要意义。