基于Nerf的自动驾驶领域研究
我找的都是提升NeRF新视角渲染能力,然后应用于自动驾驶领域的文章,上述标黄的文章是属于这个领域的。①Crowd-Sourced NeRF:2024年,符合要求,但是代码未开源,且数据集好像是自采集的(老师提供连接里的文章)。×②City-NeRF:符合要求,但是代码未开源,且文章太久远了,2021年的。×③SRNeRF:非常符合要求,但是由于是2025年最新的文章,代码还未开源。×④PC-NeR
第一篇:MIRReS
高质量的物理一致重建(explicit geometry, BRDF materials, environment lighting), 并支持重光照(relighting)、场景编辑等下游任务。 新视角合成是附带结果,不是主要研究目标。
代码未开源,且不是针对大尺度街景设计。
两个阶段任务:
-
第 1 阶段:利用 NeRF 提取粗网格(coarse mesh);
-
第 2 阶段:通过多次反弹路径追踪 + 蒙特卡洛积分,优化材质和光照并精化网格。
第二篇:Crowd-Sourced NeRF
提出了一个面向城市级大规模三维重建的系统性框架,核心是基于 NeRF 的街景三维重建,而非简单的新视角合成。这是一篇专注于如何通过量产车辆众包数据完成大规模、高质量 3D 街景重建的 NeRF 应用型研究。
代码未开源。
第三篇:City-NeRF
这篇文章以城市3D重建为主目标,新视角合成是直接效果。将 Neural Radiance Fields(NeRF)拓展到城市级别(city-scale)的三维场景重建与新视角合成,重点解决了多尺度(multi-scale)场景建模中的分辨率不一致、细节丢失和渲染质量不稳定问题。
2021年的文章,时间有点太久了。
第四篇:SRNeRF
SRNeRF 是一种面向自动驾驶场景的新视角合成方法,可在极少视角(Sparse Views)且无精准相机位姿的条件下重建高保真场景图像,通过引入超分辨率模块与纹理感知损失,提升了合成图像的清晰度与细节保留。
该论文发表于 2025 年,可能由于发表时间较近,作者尚未发布相关代码。
第五篇:PC-NeRF
代码开源。
提出了一种创新的 NeRF 架构,用于在自动驾驶场景中利用稀疏 LiDAR 数据实现大规模三维重建与新视角合成。核心目标是提高在实际条件下(如 LiDAR 帧稀疏、数据缺失等)对环境的建模与渲染能力。
第六篇:NeO360
提出了一种通用的神经辐射场(NeRF)方法,专门用于处理复杂的户外 360° 场景,在仅有极少视角(1~5 张图像)的条件下,实现高质量的新视角合成。本文在结构、泛化能力、渲染质量与编辑性方面都有显著创新。
代码开源。
第七篇:Lightning NeRF
代码开源。
一项面向自动驾驶场景的新视角合成研究,旨在解决 NeRF 在复杂室外环境中的效率瓶颈和重建精度问题。它通过引入一种混合场景表示(Hybrid Scene Representation, HSR)并结合 LiDAR 初始化和颜色分解,大幅提升了训练和渲染速度,同时保持甚至超越了现有方法的重建质量。Lightning NeRF 是一种高效、可扩展的 NeRF 框架,通过 LiDAR 初始化 + 显式密度建模 + 颜色分解,实现在自动驾驶场景下的快速训练与高保真新视角合成。
第八篇:HarmonicNeRF
提出了一种基于几何引导的合成视图增强方法,结合球谐函数拟合与可见性分析,显著提升了 NeRF 在自动驾驶稀疏视角下的三维重建精度和新视角合成能力。
代码即将开源。
第九篇:Depth-Guided Robust and Fast Point Cloud Fusion NeRF for Sparse Input Views
这篇论文提出了一种基于深度引导的点云融合神经辐射场(NeRF)方法,用于在稀疏视角下高效、鲁棒地进行三维重建与新视角合成,同时大幅降低了训练时间与模型大小,是对稀疏 NeRF 场景建模的一种创新突破。
代码未开源,且使用的数据集为DTU和LLFF小型数据集。
第十篇:UC-NeRF
UC-NeRF 是一套面向自动驾驶多摄像头系统的新视角合成方法,专注于解决相机间颜色不一致与姿态误差带来的NeRF建模退化问题。它结合了分层颜色校正、虚拟视角增强与时空约束姿态优化,在 Waymo 与 NuScenes 上取得显著领先性能。
2023年文章,代码开源。
第十一篇:S-NeRF
S-NeRF 是一套专为自动驾驶街景设计的 NeRF 框架,能处理稀疏视角、动态物体及噪声深度的挑战,实现大规模街景与前景车辆的高保真新视图合成。
代码开源,2023年文章。
第十二篇:Mars(自动驾驶系统训练与仿真)
MARS 是一套以神经辐射场为核心的自动驾驶仿真平台,通过实例感知(instance-aware)+ 模块化设计(modular)+ 高保真渲染(realistic),实现了背景和动态物体分离建模,并支持编辑操作与多种训练/渲染策略,是当前 NeRF 驱动仿真中最实用的系统之一。
代码开源,2023年文章。
第十三篇:S-NeRF++(代码好像没开源)
S-NeRF++ 是一套面向自动驾驶的模拟系统,融合了神经重建与生成方法,能够在稀疏深度和姿态不准的条件下,生成高保真、大尺度、可控的新视图数据,同时支持可编辑前景插入与真实光照合成。
代码未完全开源。
第十四篇:SUDS
SUDS 提出了一种三分支哈希表示结构(Static / Dynamic / Far-field),使用 RGB 图像 + 稀疏 LiDAR + 2D optical flow + 无监督特征等多模态输入,实现了大规模城市 NeRF 动态建模,在 1700 段视频、百万帧数据上重建出了城市级别的动态场景,具备时空一致性、新视角生成、3D实例分割等能力。
总结
我找的都是提升NeRF新视角渲染能力,然后应用于自动驾驶领域的文章,上述标黄的文章是属于这个领域的。
①Crowd-Sourced NeRF:2024年,符合要求,但是代码未开源,且数据集好像是自采集的(老师提供连接里的文章)。×
②City-NeRF:符合要求,但是代码未开源,且文章太久远了,2021年的。×
③SRNeRF:非常符合要求,但是由于是2025年最新的文章,代码还未开源。×
④PC-NeRF:2024年,符合要求,代码开源,复现难度可以接受,数据集为KITTI和MaiCity。√
⑤NeO360:2023年,专门用于处理复杂的户外 360° 场景,在仅有极少视角(1~5 张图像)的条件下,实现高质量的新视角合成,这篇文章中并没有提到自动驾驶领域的使用,但是我觉得可用于自动驾驶领域仿真数据的生成。代码开源,复现难度有点大,数据集为NeRDS 360。×
⑥Lightning NeRF:2024年,符合要求,且考虑到了效率的问题(也就是加速),代码开源,复现难度有点大(因为它融合到了Nerfdtudio,之前我用Nerfstudio跑的实验效果就不好,但是还是可以尝试一下),数据集为KITTI-360 和Argoverse2 (Sensor Dataset) 。√
⑦HarmonicNeRF:2024年,符合要求,代码未开源。×
⑧UC-NeRF:2023年,符合要求,代码开源,复现难度不大(但是C++语言,不知道后面阅读修改起来是否有困难),数据集为Waymo和NuScenes。 √
⑨S-NeRF和S-NeRF++:2023年和2025年,S-NeRF++是在S-NeRF的进一步工作,符合要求,S-NeRF代码开源,S-NeRF++代码部分开源,这两篇文章要一起看,复现难度不太好判断,数据集为Waymo和NuScenes。√
⑩Mars:2023年,符合要求,MARS 当成一个用于自动驾驶环境下场景构建与操控的 NeRF 引擎系统,并不是Nerfstudio那种“论文方法大合集”那种框架,代码开源,复现难度较大(但是该方法与师姐之前复现的SUDS方法进行了比较),数据集为KITTI、VKITTI2、DAIR-V2X。√
⑪SUDS:CVPR,2023,符合要求,代码开源,复现难度一般(且有CSDN上师姐记录的实验复现过程),数据集为KITTI和VKITTI2。√
更多推荐
所有评论(0)