题目——不只是增亮：极暗环境下图像修复的精细细节保留研究

论文地址：https://arxiv.org/pdf/2508.03336

论文源码：https://github.com/bywlzts/RFGM

目录

提出的问题

作者是如何解决这些问题的

收获和感想

---

 

 

提出的问题

        在极度黑暗的环境下拍照，不仅是亮度不够的问题，更致命的是结构信息的丢失和噪声的覆盖。现有的方法虽然能把图提亮，但往往不能很好的保留纹理和边缘。

具体而言，问题可以总结为：

        A.为了扩大感受野，大多数网络使用下采样，对于极暗图像，像素级的细节本来就微弱，一下采样就彻底没了 。

        B.现有的频域方法通常采用串行的卷积处理。作者认为，这种串行方式会导致前一阶段的关键亮度信息在后一阶段丢失。同时，它们往往独立处理每个通道，忽略了通道间互补的结构信息 。

        C.传统 Mamba无法捕获边缘信息

---

作者是如何解决这些问题的

        对于A问题，为了解决下采样淹没细节的问题，作者提出Patch Mamba，实现不降采样的像素级修补。

        如图所示，Patch Mamba放弃了传统的下采样。它将图像切片（Patch）后直接在通道维度拼接，然后进行多方向的扫描，实现了保持全分辨率。用于捕捉相邻像素间的细微关联，有利于恢复像文字、毛发这样的高频细节 。

        对于B问题，为了解决频域信息流失的问题，作者设计了 Residual Fourier-Guided Module (RFGM)。

        首先作者用上图论证了串行卷积的频域消息流失:Conv_2的图像非常明亮，说明此时网络已经恢复了一定的光照信息。但在 Conv_3图像反而变暗了，说明现有的串行处理方式（上一层的输出直接做下一层的输入）导致了特征衰减。前一阶段恢复的亮度，在传到下一阶段时弄丢了。这为作者提出残差引导提供了证据——需要把前一阶段的亮度强行保留并指导下一阶段。同时图下半部分C1,C2,C3是同一阶段内不同通道的热力图。作者认为图像的结构信息是分布在所有通道中的。现有的方法往往独立处理每个通道，导致不同通道里的结构信息像没有被整合起来，使得整体结构恢复不完整 。作者认为必须有一种机制，能够打破通道间的隔阂，跨通道去寻找和融合最有价值的信息。

如图所示，作者利用残差连接设计了一个频域块，对傅里叶变换后的幅度和相位都利用残差连接进行优化：

幅度残差引导： 它计算前后阶段幅度分量的相似度矩阵，选出最“可靠”的亮度先验(对于当前阶段的每一个通道，去上一阶段里找最相似、最匹配的那个通道，Matrix Similarity Top-1部分)，指导下一阶段的恢复 。

相位残差补偿： 相位决定了图像的结构。通过残差连接，将上一阶段的相位信息补偿给当前阶段，确保结构不崩坏 。

        对于C问题，为了解决传统Mamba难以捕获边缘信息，作者提出Grad Mamba，实现对边缘区域的优先处理

        如图所示，作者引入了梯度评分机制（Gradient Score Prediction）。它先计算图像的梯度图（利用Sobel/Laplacian），找出边缘区域，然后按梯度值将区域重排列，实现对边缘区域的优先扫描，同时在 Mamba 的状态方程中，增加了一个梯度引导项。

                                        ​​​​​​​        

        作者将梯度先验显式地融入到SSM的状态转移方程中， 使Mamba对边缘处理的能力得到提高。

 

模型整体架构

---

收获和感想

1.作者将梯度先验显式地融入到SSM的状态转移方程，可以学着结合物理先验或数据先验对RWKV/Mamba公式进行修改

2.作者通过可视化结果（原论文Fig .3）说明现有方法的缺陷（串行卷积的频域消息流失），可以学习这种论证手法

3.具体的idea：作者提到频率域中图像的结构信息是分布在所有通道中的，所以设计了一个残差模块来保留信息。高光谱图像的通道非常多，可以学习这个思想在对高光谱频率域处理时对不同通道信息进行整合/筛选。