11月中旬北京海淀，TsingtaoAI技术团队为某央企汽车集团智驾团队开展交付自动驾驶中的图像处理与感知技术主题实训。在智能驾驶技术快速迭代的今天，图像感知作为自动驾驶的"眼睛"，其技术深度与落地能力直接决定系统可靠性。本实训聚焦真实工业场景，系统梳理从传统图像处理到前沿多模态融合的全栈技术路径。课程以传感器标定、车道线识别等基础技术为起点，深入讲解CNN/Transformer在3D目标检测（如DETR3D、BEVFormer）、语义分割（U-Net、DeepLab）中的实战应用，结合多任务学习实现车道线、可行驶区域等多维度感知。特别针对行业痛点，详解模型量化、TensorRT加速等部署技术，剖析BEV+Transformer主流范式、端到端感知等前沿趋势。通过真实案例解析，帮助工程师突破长尾场景、恶劣环境等挑战，构建可落地的感知系统，为智能驾驶研发提供坚实技术支撑。

实训目标

1.掌握自动驾驶感知全流程技术

涵盖传统图像处理（如车道线检测）与CNN/Transformer在目标检测、语义分割中的应用。

2.具备模型开发、优化与部署能力

熟练使用多传感器融合（如3D检测）、多任务学习（如UNet），并掌握模型量化及硬件加速技术。

3.紧跟行业前沿与创新实践

理解多模态融合、端到端感知等趋势，培养解决复杂问题的能力以支撑职业发展。

实训大纲

一、自动驾驶感知概论与图像传感器

1.1、感知在自动驾驶中的作用。

1.2、传感器基础。

1.3、图像传感器原理

二、图像预处理技术与车道线识别基础

2.1、图像增强

2.2、图像去噪

2.3、几何变换

2.4、图像数据增强

三、传统图像处理算法在车道线与交通标识识别中的应用

3.1、边缘检测

3.2、霍夫变换

3.3、颜色空间与形态学操作

3.4、模板匹配

四、深度学习基础与CNN

4.1、深度学习概述

4.2、CNN原理

4.3、Transformer-based视觉模型基础（ViT、Swin Transformer简介）

4.4、迁移学习与预训练模型

五、基于深度学习的3D目标检测与跟踪（上）

5.1、目标检测概述

5.2、单目3D目标检测方法

5.3、Transformer在3D检测中的应用（如DETR3D、BEVFormer）

六、基于深度学习的3D目标检测与跟踪（下）与红绿灯识别

6.1、多传感器融合3D目标检测

6.2、典型算法

6.3、多目标跟踪（MOT）

6.4、深度学习在红绿灯识别中的应用

七、语义分割与车道线精确识别及多任务学习

7.1、图像分割任务回顾： 语义分割：像素级别的类别分类（如天空、道路、车辆）

7.2、语义分割网络

7.3、实例分割网络

7.4、多任务学习

八、图像感知系统部署与挑战及未来趋势

8.1、模型部署

8.2、感知系统挑战

8.3、未来发展趋势

部分实训课件

实战技术专家

邢老师 机器人算法专家

硕士: 圣彼得堡国立理工大学 硕士专业：智能系统

技能：Python\C++\C#\ROS2; 框架及库:Tensorflow、pytorch、Transformer、Yolo、ROS、Slam、GPT4;

机器学习、深度学习、运筹学优化、 图像处理、NLP、大模型、点云处理、ROS 和 Slam 导航、GPT4。

2023/02 -- 2024/09 清华大学无锡应用研究院（无锡） 机器人算法工程师

工作简绍：晶原缺陷识别，全盘扫描、区域扫描、绝对路径、相对路径扫描，加载和中心位姿。机械臂 ROS2 线程和进程调用，Gtest 的单元测试，扫描模式，slam 模式、机器人操作模式的连续测试和单例测试。缺 陷截取拼接和识别，最小外接圆获取点坐标计算新的圆心、半径。两个机械臂轮回放置抓取,使用深度学习、模版匹配识别缺陷和纹理查询,统计小于0.03的好盘\坏盘进行分类。方向盘 CAN 通信与树莓派结合，控制转 速和角度，协议互转，UDP、J1939 等。

（硕士校招）2022/02 -- 2023/02 宁波互联网研究院（宁波） 视觉算法工程师

工作简绍： (1)使用 3D 相机和投影仪解码格雷码，结合相移图像，获得相机-投影仪像素坐标之间的对应关 系，根据标定参数生成清晰的深度图和点云，并后续使用 PCL 库文件进行处理，并且 slam 同时定位与制图， 从上到下精确抓取细小零件如螺丝和回形针等。

(2)拆码垛项目，奥博机器臂和 3D 相机结合，识别 Box 箱子从 A 点转移到 B 点，使用 PyQt 界面交互。Yolo8 检测零件并使用机器臂定位自动旋转螺丝，并使用 GPT4 解决 bug。无序分拣项目，将机械臂和料框、机械 臂和工件之间进行避碰检测， 同时满足机械臂位姿可达。

(大学校招) 2019/02 -- 2020/06 大陆集团（长春） 图像算法工程师

工作简绍：开发 ECU 板的数据传输、网络连接、自我诊断；数据转换、加密、修改、对比、拼接等；并使用opencv 和传感器测距用于自动驾驶,包括车窗碰撞检测与自动避障，多回合各种情况 case 下碰撞的合理 避障。相机和各传感器数据经过 CAN 线和集成黑箱子交互计算，输出命令传回汽车控制系统；使用 Rasa3 实 现多伦对话机器人助手，使用 Bert 和 Spacy 意图识别分类和实体抽取，结合 neo4j 知识图谱实现各种意图 对话判别和知识库抽取。并使用后端构建远程链接，数据库记录和嵌入式到设备终端，模型加速并使用 Tensort 跨平台部署。

RRT——机械臂笛卡尔空间轨迹规划 使用直线形， 圆弧形及其变形组合，采用双向 RRT*算法基于随机采样的渐近最优路径规划算法,重新选择父节点和重布线随机数；连接父子节点并进行碰撞检测。

SLAM——基于 ALOAM 的汽车定位 ALOAM 算法主要包括六个步骤：前后点云配准、平面提取、特征提取、匹配、优化和地图生成。从激光雷达的数据并将这些特征描述为局部6Dof 自由度的运动模式进行匹配。

ROS——树莓派无人小车运动 通过对话语音控制无人小车的运动包括转向和移动，也可以摄像头调用Yolo 手势动作目标检测和RegNet 图像分类来识别手势来运动，多种指令控制。

Rasa——美尔贝医美平台的多伦对话机器人 使用 Rasa 实现医美平台的多伦对话机器人，使用Bert和聚类 scipy 意图识别分类和实体抽取,结合 neo4j 知识图谱实现医美机构的各种意图对话判别和知识 库抽取。并使用后端构建远程链接，数据库记录到微信小程序。

3D 点云——双臂机器人抓取饮料 通过 3D 点云和法线结合计算和监测瓶盖，TF 手眼标定机械臂位姿转换，ROS 发布和监听消息，点云的各种处理如切割、聚类、平面、过滤。

2D 神经网络——铁架子识别和监测 通过几何图形库和空间物理，神经网络A I训练，获取内参和外参， 计算出 Z 深度信息和RPY，ROS 物体和相机参考系的互转。

机械臂运动——档案机器人抓取 通过 3D 建模划分出柜子里面的每个档案，神经网络识别档案侧面并抓取对应的档案，ROS 控制机械臂运动，位姿的各种变换和次序调整。

线性 Simulink——模型分析双环稳定系统 电流内环在动态过程中防止电枢电流超过允许值。超调越小越好，并抗干扰性能。调速外圈一般选用典型的Ⅱ型系统，使系统具有较好的抗干扰性能。

双环控制系统——数字稳定系统 通过应用数字稳定系统的 Simulink 模型对数字稳定系统进行分析。它包括两部分，分析了数字稳定系统的 Simulink 模型，数字 PI-VR 和 PI-CR 的宏块。每个部 分都有不同的结构和不同的方程式。

模糊逻辑控制器——使用各种规则对控制器进行仿真使用一种独特的具有五条规则的模糊逻辑控制器和一 种直接实现的解决方案来解决传统控制器经常遇到的液位控制超调问题。

程老师 自动驾驶算法专家

原阿里巴巴集团达摩院自动驾驶算法专家，现任杭州图灵云智科技有限公司董事长兼CEO。

自动驾驶感知算法，规划和控制算法开发等有11年经验，对AI机器学习，深度学习,NLP，LLM大模型，端到端多模态具身智能大模型等有丰富的开发经验。

对整个自动驾驶从硬件传感器，感知规划控制算法，云端+端到端联合部署等全栈技术有丰富的经验。

研发项目有：阿里达摩院无人驾驶物流车，三一无人驾驶挖土车，申昊科技轨道交通智能综合巡检车算法开发等。发表相关核心技术专利6项。

关于TsingtaoAI

TsingtaoAI企业实训业务线专注于提供LLM、具身智能、AIGC、智算和数据科学领域的企业实训服务，通过深入业务场景的案例实战和项目式实训，帮助企业应对AI转型中的技术挑战。其实训内容涵盖AI大模型开发、Prompt工程、数据分析与模型优化等最新前沿技术，并结合实际应用场景，如智能制造、医药健康、金融科技和智能驾驶等。通过案例式学习和PBL项目训练，TsingtaoAI能够精准满足企业技术团队的学习需求，提升员工的业务能力和实战水平，实现AI技术的高效落地，为企业创新和生产力提升提供强有力的支持。

同时，TsingtaoAI公司并不是一家单纯的实训机构，我们同样是一家AI产品开发公司，公司核心团队主要也都是由技术和产品人才构成，公司团队大部分成员在大模型时代之前就在从事AI产品相关的工作。公司在过去一年里，为10余家客户开发了AI相关的产品，涵盖医疗、教育、智能制造、人力资源等领域。相信我们在AI产品开发和客户服务的过程所形成的认知和方法论，能对贵司的需求有更深更细的洞察和理解，也能提供更深入业务肌理的“AI能力获得”。