原文链接:https://blog.csdn.net/qq_43622216/article/details/144417919

个人收集精力有限,欢迎各位评论或者私信告知SNN相关论文研究!

目录

说明

这篇博客主要用于记录2025年在一些顶会顶刊(AAAI、CVPR等)上发表的SNN相关的论文,会附上相关论文的链接及简单介绍,正在更新中…
更新SNN相关论文、动态信息,欢迎浏览讨论!

AAAI 2025

  • 论文1: Efficient 3D Recognition with Event-driven Spike Sparse Convolution

    • 由中科院自动化所(李国齐老师团队)、电子科技大学、香港理工大学、时识科技、慧脑智芯等研究人员发表于AAAI 2025。
    • 提出了Spike Voxel Coding (SVC)将点云编码为脉冲序列,提出了Spike Sparse Convolution (SSC) block提取3D点云特征,设计了efficient 3D SNN backbone (E-3DSNN)进行点云分类。
      Spike Voxel Coding (SVC):将点云数据均匀划分为多个non-overlapping voxel grids,然后使用多个连续的稀疏卷积核脉冲神经元得到脉冲序列。
      Spike Sparse Convolution (SSC):和Vanilla Spike Convolution (VSC)相比仅在卷积的中心有脉冲输入时进行计算,使用一个二元的selector来控制计算。VSC则对所有脉冲都会进行计算。能够通过在神经形态芯片上仅修改地址映射函数来实现SSC。
  • 论文2: Spike2Former: Efficient Spiking Transformer for High-performance Image Segmentation

    • 由中科院自动化所(李国齐老师团队)、北京大学等研究人员发表于AAAI 2025。
  • 论文3: CREST: An Efficient Conjointly-trained Spike-driven Framework for Event-based Object Detection Exploiting Spatiotemporal Dynamics

    • 由电子科技大学研究人员发表于AAAI 2025。
    • 使用Few-Spikes neuron (FSN),表明FSN和ReLU具有相似性。在训练时使用surrogate neural network with discrete level activation values (DL-Net)计算梯度并更新对应的参数。
  • 论文4: FSTA-SNN:Frequency-based Spatial-Temporal Attention Module for Spiking Neural Networks

    • 由浙江大学-伊利诺伊大学香槟分校、浙江大学、大连理工大学等研究人员发表于AAAI 2025。
    • 指出SNN中的浅层倾向于学习垂直的特征,而深层逐渐学习水平特征;在跨时间步长学习到的特征并没有很大差异。
    • 提出了Frequency-based Spatial-Temporal Attention (FSTA) 模块,通过抑制冗余脉冲特征提升SNN的特征学习能力。
    • 在同一层内不同时间步长的相同频率分布上共享增强模块;减少浅层网络中特征学习的冗余;扩展深度网络的特征学习能力;利用时间注意力调节振幅在时间步长的变化。
    • 指出使用全局平均池化相等于使用2D DCT的一个特例。
  • 论文5: Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Networks

    • 由香港科技大学许人镜老师课题组、美国西北大学等研究人员发表于AAAI 2025(oral)。
    • Training-Free的ANN-to-SNN conversion同时提升了accuracy, energy efficiency和training cost,支持ResNet, VGG, ViT等多种模型,并支持静态和神经形态数据集的分类, 目标检测, 语义分割, 3D点云分类和3D部分分割等多种任务。
  • 论文6: Towards Accurate Binary Spiking Neural Networks: Learning with Adaptive Gradient Modulation Mechanism

    • 由电子科技大学(杨阳、张马路老师)、诺桑比亚大学等研究人员发表于AAAI 2025。
    • 指出:BSNN面临着frequent weight sign flipping problem,并且weight sign flipping的频率与梯度的均值和方差正相关。
    • 提出了Adaptive Gradient Modulation Mechanism(AGMM),在训练过程对BN层输出计算逐时间步长的特征均值并使用可学习的系数和Sigmoid函数得到缩放因子,对特征进行自适应加权。
  • 论文7: Spiking Point Transformer for Point Cloud Classification

    • 由中科大、浙江大学、西北工业大学等研究人员发表于AAAI 2025。
    • 提出了Spiking Point Transformer (SPT)用于点云分类,包括Queue-Driven Sampling Direct Encoding (Q-SDE)以及Hybrid Dynamics Integrate-and-Fire(HD-IF) Neuron,混合了IF、LIF、EIF和PLIF。
    • Q-SDT通过先进先出的队列方式保留点云数据中的有价值信息,在多个时间步中逐步覆盖原始点云的不同部分,而非像直接编码那样将所有数据全部重复编码。
  • 论文8: SpikingYOLOX: Improved YOLOX Object Detection with Fast Fourier Convolution and Spiking Neural Networks

    • 由大连理工大学等研究人员发表于AAAI 2025。
  • 论文9: Noise-Injected Spiking Graph Convolution for Energy-Efficient 3D Point Cloud Denoising

    • 由南京航空航天大学、安徽大学等研究人员发表于AAAI 2025。
    • 面向3D点云去噪,提出了noise-injected spiking graph convolutional networks,构造了noise-injected spiking neuron,设计了noise-injected spikinggraph convolution,并提出了两个SNN-based denoising network。
    • Noise-injected Integrate-and-Fire spiking neuron:向LIF神经元充电过程中添加高斯噪声。
  • 论文10: Advancing Spiking Neural Networks Towards Multiscale Spatiotemporal Interaction Learning

    • 由辽宁工程技术大学、电子科技大学等研究人员发表于AAAI 2025。
    • 设计了Spiking Multiscale Attention (SMA) module,并提出了Attention ZoneOut (AZO)利用时空注意力的权重进行正则化。

IJCAI 2025

  • 论文1: Adaptive Gradient Learning for Spiking Neural Networks by Exploiting Membrane Potential Dynamics
    • 由浙江工业大学、浙江大学团队发表于IJCAI 2025。
    • 针对膜电势在训练过程中逐渐偏离代理梯度的有效范围问题,提出了MPD-AGL自适应地调节代理梯度。
    • 指出训练过程中tdBN的仿射变换参数会影响归一化后输入电流的分布,而非达到其原始论文中的目标。
    • 膜电势分布方差增大表明需要扩大梯度覆盖范围,反之则要减小范围。

ICLR 2025

  • 论文1: Rethinking Spiking Neural Networks from an Ensemble Learning Perspective
    • 由电子科技大学左琳老师团队发表于ICLR 2025。
    • 将多时间步长的SNN视为一个集成,其中的每个时间步长是集成中的一个成员。
    • 指出跨时间步长的膜电势差异以及导致的输出差异(过度差异)会负面影响SNN的整体性能。
    • 提出membrane potential smoothing,使用一个可学习的平滑系数对神经元的充电前膜电势进行平滑,从而促进跨时间步长膜电势的一致性。
    • 提出temporally adjacent subnetwork guidance,对相邻时间步长的SNN输出进行蒸馏,促进输出的一致性。
  • 论文2: Quantized Spike-driven Transformer
    • 由电子科技大学、中科院自动化所等研究人员发表于ICLR 2025。
    • 直接对spike-driven Transformer v2进行量化后性能大幅退化,指出这是由于量化后的注意力信息呈双峰分布(注意力层退化),spike information distortion (SID) problem。
    • 提出了information-enhanced LIF (IE-LIF) neuron:和fine-grained distillation (FGD)来提升量化后SNN的性能。
    • IE-LIF:训练时产生多比特脉冲,推理时将多比特折叠至多个时间步长中。并且对IE-LIF的膜电势进行修正,促使其更像高斯分布。
    • FGD:对量化后的SNN和对应的ANN Transformer进行蒸馏。
  • 论文3: DeepTAGE: Deep Temporal-Aligned Gradient Enhancement for Optimizing Spiking Neural Networks
    • 由多模态信息超智能安全北京市重点实验室、中国科学院大学人工智能学院、上海理工大学信息科学与技术学院等研究人员发表于ICLR 2025。
    • 指出,随着时间步长增大,膜电势分布会逐渐远离阈值,造成梯度不充分。
    • 通过计算第t个时间步长和第1个时间步长的膜电势偏离程度对代理梯度中的膜电势及阈值进行scale,促进远离阈值膜电势的优化。
    • 在SNN中添加多个辅助分类器,逐时间步长地计算交叉熵损失促进梯度传播。
  • 论文4: QP-SNN: Quantized and Pruned Spiking Neural Networks
    • 由电子科技大学(杨阳、张马路老师)、诺桑比亚大学、辽宁工业大学等研究人员发表于ICLR 2025。
    • 指出:SNN中使用均匀量化会由于膜电势分布居中,浪费掉很多比特带宽。提出了weight rescaling strategy提升SNN的量化性能,使用一个scale系数对权重进行缩放,促使其分布更宽从而有效利用比特宽度。
    • 对于结构化(逐通道的)剪枝,对脉冲发射率使用奇异值分解将其分离为重要的和不重要的部分,将不重要的部分剪枝。
  • 论文5: Improving the Sparse Structure Learning of Spiking Neural Networks from the View of Compression Efficiency
    • 由大连理工大学、浙江大学等研究人员发表于ICLR 2025。
    • 提出了一个two-stage sparse learning framework。第一阶段根据PQ index自适应决定appropriate rewiring ratio,第二阶段基于自适应的比例进行dynamic sparse structure learning。
  • 论文6: Spiking Vision Transformer with Saccadic Attention
    • 由电子科技大学(杨阳、张马路老师)、诺桑比亚大学、辽宁工业大学等研究人员发表于ICLR 2025。
    • 提出了Saccadic Spiking Self-Attention (SSSA)以及SNN-based Vision Transformer (SNN-ViT)。
  • 论文7: Improving the Sparse Structure Learning of Spiking Neural Networks from the View of Compression Efficiency
    • 由西安交通大学、浙江大学、大连理工大学等研究人员发表于ICLR 2025。

ICML 2025

ICCV 2025

CVPR 2025

ACM MM 2025

NeurIPS 2025

ICASSP 2025

本文出自于CSDN-lan人啊,转载请注明!

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐