面向具备现代机器学习(深度学习、概率推断)、数字信号处理与 Python 编程背景的研究人员。目标是:把雷达物理/信号处理与最新的机器学习方法(自监督、Transformer、可微分 DSP、端到端自适应波形设计、传感器融合)合并成可重复的工程与研究流程,培养能独立发表/工程化的能力。核心出品:可运行的 Python 实验、复现性强的基线模型、与一项可提交的研究/工程结题。

先修要求

  • 数字信号处理(线性系统、傅里叶/短时傅里叶、采样、滤波)

  • 雷达基础(脉冲、FMCW、Doppler、MIMO 基本概念)

  • 线性代数、概率统计(贝叶斯基础)

  • 深度学习(PyTorch / TensorFlow 任一)与经验(CNN/Transformer、优化器、训练技巧)

  • 精通 Python(numpy, scipy, matplotlib),有工程实践经验优先

目录直达

第一章 — 序言与先修要求(含可执行示例代码)

第二章 —AI与雷达交叉研究:原理推导

第三章 雷达物理与经典信号处理复习

第四章 从原始 IQ 到特征:传统方法与现代接口

第五章 深度学习在雷达感知的基础应用

第六章 表示学习与自监督方法(关键研究方向)

第七章 4D / mmWave 雷达与高维张量处理

第八章 雷达与视觉/激光融合

第九章 雷达成像与 SAR / ISAR(成像与反演)

第十章 可微分雷达与端到端波形设计

第十一章 MIMO 雷达、阵列处理与学习

第十二章 鲁棒性、安全性与限界:雷达对抗攻击与防御完整技术实现

第十三章 可解释性与物理–感知融合(Physics-Informed ML)

第十四章 大规模工程化与真实系统集成(工程实践)


课程结构(建议 12–14 周,含实验周与期末项目演示)

Week 0 — 课程导论与研究全景(半天讲座)

  • 目标:理解雷达在自动驾驶、智能家居、医疗/生命体征、SAR/遥感、安防中的角色;概览 AI 与雷达的交叉研究方向(感知、重建、波形设计、对抗/鲁棒)。

  • 推荐阅读(综述):Machine learning–enabled radar tutorial / review. PMC


Week 1 — 雷达物理与经典信号处理复习(lecture + lab)

  • 讲授:电磁波基础、回波模型、常见雷达类型(脉冲、多普勒、FMCW、脉内调制、MIMO 阵列)、Ambiguity function、Range/Doppler/Angle 估计基础。

  • Lab(Python):生成模拟回波(基础点目标)、实现匹配滤波、脉冲压缩、STFT、Range–Doppler 图。工具:numpy, scipy.signal, matplotlib。


Week 2 — 从原始 IQ 到特征:传统方法与现代接口

  • 讲授:IQ 处理流程、CFAR 探测、峰值检测、点云聚类(DBSCAN/KMeans)、多目标跟踪(GNN 简述、Kalman / JPDA)。

  • Lab:实现 CFAR(CA-CFAR / OS-CFAR),基本多目标追踪(卡尔曼滤波 + 匈牙利算法)。


Week 3 — 深度学习在雷达感知的基础应用

  • 讲授:端到端用 CNN/ResNet/Transformer 做雷达目标分类、检测与语义分割(range-azimuth/doppler-图像、点云)。

  • Lab:用公开数据集(RadarScenes / CARRADA)训练简单分类/分割 baselines。RadarScenes+1


Week 4 — 表示学习与自监督方法(关键研究方向)

  • 讲授:为什么自监督在雷达重要(稀疏标注、跨天气稳健性);对比学习、时序预测(contrastive、BYOL、masked modeling)、预训练到下游任务迁移。

  • Lab:实现简易对比学习管线(SimCLR 风格)在 Range–Doppler 或点云上做 pretrain + fine-tune。


Week 5 — 4D / mmWave 雷达与高维张量处理(前沿)

  • 讲授:4D 雷达(Range–Azimuth–Elevation–Doppler)表示、张量化处理、如何用 CNN/3DConv/BEV 表示进行检测。场景:自动驾驶中 4D 雷达的优势(对恶劣天气鲁棒)。阅读:4D mmWave 雷达综述。arxiv.org

  • Lab:加载 K-Radar 或示例 4D tensor,做简单的 BEV 投影 / 基线 3D 检测。arxiv.org


Week 6 — 雷达与视觉/激光(LiDAR)融合(感知融合策略)

  • 讲授:早/中/晚期融合架构、BEV fusion、ROI-based fusion、cross-attention 融合策略、标注对齐问题。

  • 阅读:Radar–Vision fusion survey(近期综述)。arxiv.org

  • Lab:在 nuScenes / RadarScenes 上实现一个简单的 radar+camera BEV-fusion 3D 检测 baseline(可用 PyTorch + DETR/BEVFormer 风格模块)。


Week 7 — 雷达成像与 SAR / ISAR(成像与反演)

  • 讲授:SAR 成像基础、成像算子(回投影、脉内压缩)、深度学习在 SAR 成像/去斑/超分中的应用。

  • Lab:基于模拟或小型 SAR 数据,比较传统回投影与学习增强成像(U-Net 去噪/超分)效果。


Week 8 — 可微分雷达与端到端波形设计(前沿/研究热点)

  • 讲授:把雷达前端/ambiguity function 与可微分模块结合的思想、端到端训练的挑战(物理约束、法规、LPI/LPD 限制)、以及强化学习用于波形优化(cognitive radar)。最新工作显示“可微分 ambiguity function /可微波形设计”成为热点,可结合自动微分工具链。arxiv.org+1

  • Lab(研究任务):实现可微分 Ambiguity Function 的数值形式(用 PyTorch 自动微分)并做一个 toy 波形优化(在约束下最小化旁瓣能量或提升分辨率)。


Week 9 — MIMO 雷达、阵列处理与学习

  • 讲授:阵列几何、波束成形(经典与学习驱动 beamforming)、方向图优化、稀疏阵列设计(学习方法)。

  • Lab:用模拟阵列数据做方向图估计(MUSIC/ESPRIT)与一个学习的 beamformer(可微分代价优化)。


Week 10 — 鲁棒性、安全性与限界(对抗性 / 隐私 / 规制)

  • 讲授:对抗攻击对雷达感知的影响(欺骗目标 / 干扰)、模型鲁棒性测试、合规与频谱管理问题(简述)、低可检测性(LPI)与合法性边界。

  • Lab:实现简单干扰/噪声注入实验,评估模型性能下降,并尝试对抗训练或滤波防御策略。


Week 11 — 可解释性、物理-感知融合(physics-informed ML)

  • 讲授:如何把物理模型(雷达方程、散射模型)与数据驱动模块结合(hybrid modeling、regularizers、physics-informed losses);如何解释网络预测(saliency / layer-wise)在雷达上的适配。

  • Lab:把物理先验(例如 SNR 模型、目标 RCS)作为正则项加入训练损失,比较性能与样本效率。


Week 12 — 大规模工程化与真实系统集成(工程实践)

  • 讲授:实时性与延迟(FMCW/采样速率瓶颈)、嵌入式部署(Edge / FPGA / NVIDIA Jetson / Orin)、数据管线(采集、标注、同步、仿真)、仿真工具与域随机化(ray-tracing、CARA?)。

  • Lab:把某个模型导出为 TorchScript / ONNX,并做推理延迟基准;讨论量化/剪枝策略。


Week 13 — 学生报告(中期项目展示)与同行评审

  • 学生展示中期实验结果,互评,导师反馈。


Week 14 — 期末项目答辩与论文工作坊

  • 最终项目展示(代码 + 报告 + 论文格式的结果),邀请外部评审(可选)。


实验与作业(每周一到两项实验)

每周安排 1 次小型 lab(可在 2–4 小时完成)+ 1 次较大作业(1–2 周完成)。示例:

  • Lab 代码要求:统一用 PyTorch,提供 Dockerfile 或 conda 环境文件(requirements.txt)

  • 所有作业要求提交:代码、可复现训练脚本(seed 固定)、README、短报告(2–4 页)

公开数据集建议(用于作业/项目)

  • K-Radar(4D Radar tensor,含 RAED,适合 4D 检测/感知研究)。arxiv.org

  • RadarScenes(automotive radar point cloud,实例分割 / tracking)。RadarScenes

  • Oxford Radar RobotCar(Navtech FMCW radar,长期序列 / 定位研究)。oxford-robotics-institute.github.io

  • CARRADA(camera + radar,range-angle-doppler 注释,适合融合与语义分割)。Arthur Ouaknine's Personal Page

  • nuScenes(包含 Radar sweeps,适合端到端感知 / 融合基线)。nuscenes.org


推荐工具链(工程/科研)

  • Python 生态:numpy, scipy (signal), matplotlib, pandas

  • DL 框架:PyTorch(推荐)/ TensorFlow(任选)

  • 训练工具:PyTorch Lightning / Accelerate(管理训练循环)

  • 数据处理:xarray(高维张量处理)、h5py、pandas

  • Radar 专用/常用工具:Py-ART(气象雷达场景)、scikit-rf(射频工具集合) —(视具体子领域选用)

  • 部署:TorchScript / ONNX, Docker, NVIDIA TensorRT(工程化推理)

注:实验中强烈建议使用 PyTorch 的自动微分来实现“可微分 DSP / 波形优化”实验(见 Week 8)

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐