基于脉冲神经网络的物体检测.zip

# 基于脉冲神经网络的物体检测 ## 1 引言 ### 1.1 研究背景 目标检测是一种应用特定计算机算法在图像中找到所需目标的技术。近年来，随着计算机硬件的不断发展，目标检测的各种算法也迎来了巨大的突破，越来越多地应用于交通检测、智能支付、医疗影像等各个方面。在计算机视觉中，目标检测是要比图像分类更复杂的一个问题，它不仅要清楚目标的类型，还需做到目标的定位。所以，物体检测的难度更大，挑战性更强，相应的深度学习模型也会更加复杂。 目标检测有许多算法，卷积神经网络（ConvolutionalNeuralNetworks,CNN）是其代表算法之一。它是一个前馈神经网络，具有卷积计算和深度结构。目前，基于卷积神经网络的目标检测算法大致可分为两种模式，即twostage模式和onestage模式，twostage模式的检测过程分为两个步骤：首先由算法生成若干个候选框，再通过CNN对候选框进行分类；onestage模式则是端到端的学习，直接对对目标的置信概率和位置进行回归，相对来说精度有所损失，但速度较twostage模式的算法更快。[[1](#_bookmark47)] 基于twostage的算法有： RCNN:通过选择性搜索（selectivesearch）来确定候选框，之后统一将候选框压缩到大小；然后运用CNN对候选框进行特征提取；最后使用多个支持向量机（SVM）分类器分类输出向量，采用边界回归生成目标区域[[2](#_bookmark48)]。 FastRCNN：仍然使用选择性搜索来确定候选框，但将整张图片输入到CNN，在卷积特征层上使用感兴趣区域（Regionofinterestpooling，ROIpooling）操作，并从特征图中提取一个特定长度的特征向量；然后将特征向量输入到全连接层，用softmax对其进行分类；最后对属于同一特征的候选框进行分类并回归其位置[[3](#_bookmark49)]。 FasterRCNN：使用RPN(RegionProposalNetwork)而不是选择性搜索，大大减少了提取候选框的时间。将RPN和FastRCNN相结合，首先提取整张图片的特征；再将特征结果输入到RPN；然后使用ROI池化层固定候选框的大小；最后对属于某一特征的候选框回归和调整[[4](#_bookmark50)]。 基于onestage的算法有： YOLOv1和许多后续的改进算法：YOLO系列算法是目前一种先进的目标检测算法。因为整个检测框架是一个整体，所以可以端到端地对算法的性能进行优化。 SSD系列算法：采用多尺度特征图用于检测.，设置先验框，采用卷积进行检测。 脉冲神经网络（SpikingNeuralNetwork,SNN），起源于脑科学，由于其丰富的时空领域的神经动力学特性、多样的编码机制和超低的功耗被誉为第三代神经网络。在此之前，神经网络经历了几个发展阶段：第一个阶段是感知机阶段，其可以模拟人类感知能力并由美国神经学家FrankRosenblatt在BM704机上完成了仿真。第二个阶段是基于联结主义的多层人工神经网络(ArtificialNeuralNetwork,ANN)，其兴起于二十世纪80年代中期。20世纪80年代末，分布式表达与反向传播算法被提出。在2006年以后，深度卷积网络占有重要地位，引领了近十几年人工智能的发展[[5](#_bookmark51)]。 ANN各个深度学习领域（如计算机视觉和自然语言处理）取得了巨大的成功，但ANN在生物学上是不精确的，不能较准确地模仿生物大脑神经元的运作机制，缺乏一定的生物可解释性。为了使神经网络更加接近于人脑，SNN随之诞生。但与ANN在各方面的广泛应用不同，SNN领域仍有许多问题有待解决，其研究仍然处于快速发展的早期阶段。 ### 1.2 研究意义 SNN作为第三代人工神经网络，基于神经动力学的事件驱动机制，使得其擅长高效处理复杂、稀疏的时空信息。并且SNN在硬件电路上具有超低能耗实现的优势。2019年清华大学研制的ANN/SNN异构融合天机芯登上Nature封面，指出计算机科学导向的深度学习和神经科学导向的脉冲神经网络的交叉融合将是人工通用智能的发展方向[[6](#_bookmark52)]。 本设计论文研究的意义在于探索脉冲神经网络在目标检测上的应用，目前主流的脉冲神经网络训练算法有直接BP训练、STDP无监督训练和训练好的ANN的转化，虽然训练算法众多，但是SNN仍然没有一套成熟的训练算法。比如在较大较深的网络训练中，面临着脉冲信号的编码问题、训练开销大等问题[[5](#_bookmark51)]。并且在实现目标检测上，需要更为复杂的网络结构，目前公开的检测方法也只有[Kimetal.](#_bookmark53)([2020](#_bookmark53))等人在经典的YOLO模型上进行转化的spikingyolo。为此，基于不同的网络结构实现SNN，以方便实现在硬件上的低功耗，并与已有结果进行对比，是有一定意义的。 ### 1.3 论文组织与结构 本文的研究内容是：在总结和分析国内外ANN进行转化的SNN的理论基础上，利用现有的ANN目标检测模型，分析转化过程中存在的损失，以及各种转化手段的实现方式；同时对转化模型和前人做的工作做对比，分析不同模型对SNN转化的影响，并在pytorch框架下对模型进行设计与实现。 本文以问题提出引申到理论支持，再到算法研究及具体的解决方案设计为思路进行组织，共分为以下六章： 第一章为本章：首先阐述脉冲神经网络与目标检测研究的背景和意义，然后提出了本文研究的主要内容为设计转换模型并与前人工作做对比分析不同模型对SNN转换的影响，最后给出了论文的结构与框架。 第二章系统介绍了脉冲神经网络：发展趋势、优缺点、学习方法等。重点对从ANN 到SNN转换的方法进行了阐述 第三章给出了目标检测中常用的人工神经网络模型(ArtificialNeuralNetwork,ANN)，以onestage代表算法SSD为例，对模型的结构、损失函数等方面进行阐述。 第四章介绍模型的设计思路与方法 第五章结合实验，分别进行ssd,spikingssd的对比；yolo,spikingyolo的对比。给出实验结果，进行分析。 第六章总结分析，从多个角度对转换模型现有结果进行分析，并给出了产生这种结果的可能原因。 ## 2 脉冲神经网络 在过去多年中，人工神经网络（ANN）已能够解决很多问题。但当我们尝试解决更高级的问题时，对算力和电源的不断增长的需求是不可避免的，在可用资源有限的嵌入式系统上几乎不可能采用ANN。鉴于这些情况，由于事件驱动性和低功率特性，脉冲神经网络（SNN）作为第三代神经网络正在引起广泛关注。然而，SNN的复杂的动态神经元和不可微分的脉冲操作给其带来了显著的性能下降。因此，其应用仅限于相对简单的任务，例如图像分类。在最近的研究中，SeijoonKim等人研究了SNN在更具挑战性的对象检测任务中的性能下降[[7](#_bookmark53)],并提出了第一个用于目标检测的脉冲神经网络模型Spikingyolo，该模型是对现有的yolo模型进行转化，因此下文中先简述脉冲神经网络的各种学习算法，再重点对转化的方法进行阐述。 ### 2.1 学习算法 人工神经网络的学习是根据数据对网络的关键参数进行调整和优化的过程。优化学习算法在这一过程中起着至关重要的作用。目前人工神经网络优化理论中，结合误差反向传播的梯度下降算法是其核心。 相比之下,当前脉冲神经网络领域还没有成熟的训练算法。网络采用的神经元模型和编码方式各异,均造成了训练算法的多样化。总体来讲，主流的实现SNN的方式有三�