[Seg] UANet: An Uncertainty-Aware Network for Building Extraction From Remote Sensing Images
我们引入了不确定性的概念,并提出了一种新的UANet。首先,我们利用一个通用的编码器-解码器网络来产生一个通用的不确定提取图。其次,我们提出了 PIGM 来增强最高级别的特征。随后,利用URA提出了UAFM,以消除从高层到低层特征的不确定性。最后,所提出的UANet输出不确定度较低的最终提取图。通过进行充分的实验,我们验证了 UANet 的有效性。
1. BaseInfo
Title | UANet: An Uncertainty-Aware Network for Building Extraction From Remote Sensing Images |
Adress | https://ieeexplore.ieee.org/document/10418227 |
Journal/Time | TGRS 2024 |
Author | 武汉大学 |
Code | https://github.com/Henryjiepanli/Uncertainty-aware-Network |
2. Creative Q&A
- 不确定性的概念,Sigmoid 后在 0.5 附近的 输出概率。uncertainty rank algorithm (URA) 。区分前景和背景。提出新模块 UAFM。
- a prior information guide module (PIGM) 先验信息引导。
3. Concrete
3.1. Model
3.1.1. Input
3.1.2. Backbone
VGG-16 : 第一个特征就使用 3x3 卷积做增强,其他层级特征用 a multibranch dilation convolution blocks (MBDC) ,最后再用 FPN 得到最终的特征。
3.1.3. Neck
3.1.4. Decoder
先使用 PIGM 来增强最高级别的特征。再用 UAFM 逐层消除不确定性。
PIGM 具体代码在 Uncertainty-aware-Network/geoseg/models/UANet.py
中的 class CGM 和 PSM
Sigmoid(M)−0.5Sigmoid(M) − 0.5Sigmoid(M)−0.5
排了序.UAFM 的输入都是 2 个一个是前一个高级细粒特征得到的和对应的 encoder 提取的对应层级特征。
通过 URA 有一个前景的一个背景的。
前景和背景拼接再 1x1 卷积。以此类推。
3.1.5. Loss
BCE
3.2. Training
PyTorch 1.8.1 (CUDA 11.1)
AdamW
不同数据集的参数设置不一。
3.2.1. Resource
1 x 3090
3.2.2 Dataset
the WHU building dataset,
the Massachusetts building dataset,
the Inria aerial image dataset
Name | Images Number | Task | Note |
---|---|---|---|
the WHU building dataset | 8189 | ||
the Massachusetts building dataset | 151 | 1500x1500 | |
the Inria aerial image dataset | 360 | 5000x5000 |
3.3. Eval
intersection over union (IoU), F1 score (F1), precision, and recall
3.4. Ablation
- UAFM
- PIGM 算辅助的。
- 为每个级别的不确定性分配不同的权重可以在一定程度上解决不确定性问题。我们还发现,不确定度高的像素权重需要显著高于不确定度低的像素
- PIGM 的计算开销大。
4. Reference
5. Additional
Introduction 部分的 Backbone 部分写作可借鉴。
是 2024 IGRASS 双赛道冠军。
消融实验是 6 个部分,感兴趣的可以仔细看看。
更多推荐
所有评论(0)