高级雷达感知与学习(Advanced Radar Sensing and Learning — Python + AI 实践)
面向具备现代机器学习(深度学习、概率推断)、数字信号处理与 Python 编程背景的研究人员。目标是:把雷达物理/信号处理与最新的机器学习方法(自监督、Transformer、可微分 DSP、端到端自适应波形设计、传感器融合)合并成可重复的工程与研究流程,培养能独立发表/工程化的能力。核心出品:可运行的 Python 实验、复现性强的基线模型、与一项可提交的研究/工程结题。
面向具备现代机器学习(深度学习、概率推断)、数字信号处理与 Python 编程背景的研究人员。目标是:把雷达物理/信号处理与最新的机器学习方法(自监督、Transformer、可微分 DSP、端到端自适应波形设计、传感器融合)合并成可重复的工程与研究流程,培养能独立发表/工程化的能力。核心出品:可运行的 Python 实验、复现性强的基线模型、与一项可提交的研究/工程结题。
先修要求
-
数字信号处理(线性系统、傅里叶/短时傅里叶、采样、滤波)
-
雷达基础(脉冲、FMCW、Doppler、MIMO 基本概念)
-
线性代数、概率统计(贝叶斯基础)
-
深度学习(PyTorch / TensorFlow 任一)与经验(CNN/Transformer、优化器、训练技巧)
-
精通 Python(numpy, scipy, matplotlib),有工程实践经验优先
目录直达
第十二章 鲁棒性、安全性与限界:雷达对抗攻击与防御完整技术实现
第十三章 可解释性与物理–感知融合(Physics-Informed ML)
课程结构(建议 12–14 周,含实验周与期末项目演示)
Week 0 — 课程导论与研究全景(半天讲座)
-
目标:理解雷达在自动驾驶、智能家居、医疗/生命体征、SAR/遥感、安防中的角色;概览 AI 与雷达的交叉研究方向(感知、重建、波形设计、对抗/鲁棒)。
-
推荐阅读(综述):Machine learning–enabled radar tutorial / review. PMC
Week 1 — 雷达物理与经典信号处理复习(lecture + lab)
-
讲授:电磁波基础、回波模型、常见雷达类型(脉冲、多普勒、FMCW、脉内调制、MIMO 阵列)、Ambiguity function、Range/Doppler/Angle 估计基础。
-
Lab(Python):生成模拟回波(基础点目标)、实现匹配滤波、脉冲压缩、STFT、Range–Doppler 图。工具:numpy, scipy.signal, matplotlib。
Week 2 — 从原始 IQ 到特征:传统方法与现代接口
-
讲授:IQ 处理流程、CFAR 探测、峰值检测、点云聚类(DBSCAN/KMeans)、多目标跟踪(GNN 简述、Kalman / JPDA)。
-
Lab:实现 CFAR(CA-CFAR / OS-CFAR),基本多目标追踪(卡尔曼滤波 + 匈牙利算法)。
Week 3 — 深度学习在雷达感知的基础应用
-
讲授:端到端用 CNN/ResNet/Transformer 做雷达目标分类、检测与语义分割(range-azimuth/doppler-图像、点云)。
-
Lab:用公开数据集(RadarScenes / CARRADA)训练简单分类/分割 baselines。RadarScenes+1
Week 4 — 表示学习与自监督方法(关键研究方向)
-
讲授:为什么自监督在雷达重要(稀疏标注、跨天气稳健性);对比学习、时序预测(contrastive、BYOL、masked modeling)、预训练到下游任务迁移。
-
Lab:实现简易对比学习管线(SimCLR 风格)在 Range–Doppler 或点云上做 pretrain + fine-tune。
Week 5 — 4D / mmWave 雷达与高维张量处理(前沿)
-
讲授:4D 雷达(Range–Azimuth–Elevation–Doppler)表示、张量化处理、如何用 CNN/3DConv/BEV 表示进行检测。场景:自动驾驶中 4D 雷达的优势(对恶劣天气鲁棒)。阅读:4D mmWave 雷达综述。arxiv.org
-
Lab:加载 K-Radar 或示例 4D tensor,做简单的 BEV 投影 / 基线 3D 检测。arxiv.org
Week 6 — 雷达与视觉/激光(LiDAR)融合(感知融合策略)
-
讲授:早/中/晚期融合架构、BEV fusion、ROI-based fusion、cross-attention 融合策略、标注对齐问题。
-
阅读:Radar–Vision fusion survey(近期综述)。arxiv.org
-
Lab:在 nuScenes / RadarScenes 上实现一个简单的 radar+camera BEV-fusion 3D 检测 baseline(可用 PyTorch + DETR/BEVFormer 风格模块)。
Week 7 — 雷达成像与 SAR / ISAR(成像与反演)
-
讲授:SAR 成像基础、成像算子(回投影、脉内压缩)、深度学习在 SAR 成像/去斑/超分中的应用。
-
Lab:基于模拟或小型 SAR 数据,比较传统回投影与学习增强成像(U-Net 去噪/超分)效果。
Week 8 — 可微分雷达与端到端波形设计(前沿/研究热点)
-
讲授:把雷达前端/ambiguity function 与可微分模块结合的思想、端到端训练的挑战(物理约束、法规、LPI/LPD 限制)、以及强化学习用于波形优化(cognitive radar)。最新工作显示“可微分 ambiguity function /可微波形设计”成为热点,可结合自动微分工具链。arxiv.org+1
-
Lab(研究任务):实现可微分 Ambiguity Function 的数值形式(用 PyTorch 自动微分)并做一个 toy 波形优化(在约束下最小化旁瓣能量或提升分辨率)。
Week 9 — MIMO 雷达、阵列处理与学习
-
讲授:阵列几何、波束成形(经典与学习驱动 beamforming)、方向图优化、稀疏阵列设计(学习方法)。
-
Lab:用模拟阵列数据做方向图估计(MUSIC/ESPRIT)与一个学习的 beamformer(可微分代价优化)。
Week 10 — 鲁棒性、安全性与限界(对抗性 / 隐私 / 规制)
-
讲授:对抗攻击对雷达感知的影响(欺骗目标 / 干扰)、模型鲁棒性测试、合规与频谱管理问题(简述)、低可检测性(LPI)与合法性边界。
-
Lab:实现简单干扰/噪声注入实验,评估模型性能下降,并尝试对抗训练或滤波防御策略。
Week 11 — 可解释性、物理-感知融合(physics-informed ML)
-
讲授:如何把物理模型(雷达方程、散射模型)与数据驱动模块结合(hybrid modeling、regularizers、physics-informed losses);如何解释网络预测(saliency / layer-wise)在雷达上的适配。
-
Lab:把物理先验(例如 SNR 模型、目标 RCS)作为正则项加入训练损失,比较性能与样本效率。
Week 12 — 大规模工程化与真实系统集成(工程实践)
-
讲授:实时性与延迟(FMCW/采样速率瓶颈)、嵌入式部署(Edge / FPGA / NVIDIA Jetson / Orin)、数据管线(采集、标注、同步、仿真)、仿真工具与域随机化(ray-tracing、CARA?)。
-
Lab:把某个模型导出为 TorchScript / ONNX,并做推理延迟基准;讨论量化/剪枝策略。
Week 13 — 学生报告(中期项目展示)与同行评审
-
学生展示中期实验结果,互评,导师反馈。
Week 14 — 期末项目答辩与论文工作坊
-
最终项目展示(代码 + 报告 + 论文格式的结果),邀请外部评审(可选)。
实验与作业(每周一到两项实验)
每周安排 1 次小型 lab(可在 2–4 小时完成)+ 1 次较大作业(1–2 周完成)。示例:
-
Lab 代码要求:统一用 PyTorch,提供 Dockerfile 或 conda 环境文件(requirements.txt)
-
所有作业要求提交:代码、可复现训练脚本(seed 固定)、README、短报告(2–4 页)
公开数据集建议(用于作业/项目)
-
K-Radar(4D Radar tensor,含 RAED,适合 4D 检测/感知研究)。arxiv.org
-
RadarScenes(automotive radar point cloud,实例分割 / tracking)。RadarScenes
-
Oxford Radar RobotCar(Navtech FMCW radar,长期序列 / 定位研究)。oxford-robotics-institute.github.io
-
CARRADA(camera + radar,range-angle-doppler 注释,适合融合与语义分割)。Arthur Ouaknine's Personal Page
-
nuScenes(包含 Radar sweeps,适合端到端感知 / 融合基线)。nuscenes.org
推荐工具链(工程/科研)
-
Python 生态:numpy, scipy (signal), matplotlib, pandas
-
DL 框架:PyTorch(推荐)/ TensorFlow(任选)
-
训练工具:PyTorch Lightning / Accelerate(管理训练循环)
-
数据处理:xarray(高维张量处理)、h5py、pandas
-
Radar 专用/常用工具:Py-ART(气象雷达场景)、scikit-rf(射频工具集合) —(视具体子领域选用)
-
部署:TorchScript / ONNX, Docker, NVIDIA TensorRT(工程化推理)
注:实验中强烈建议使用 PyTorch 的自动微分来实现“可微分 DSP / 波形优化”实验(见 Week 8)
更多推荐


所有评论(0)