快速入门大模型在Carla平台进行决策推理与微调

目前大模型，AI正火热，GPt，DeepSeek等等，曾一度火爆全网，废话少说，大家赶紧学着用起来。
b站的视频简介：
Deepseek-R1火爆全网！如何利用大模型对接自动驾驶Carla做决策推理？(上)

该工程可以帮助你快速获取以下知识：
1.学习如何调用大模型，包括大语言模型LLM和多模态大语言模型VLM。
2.学习如何调用大模型对接Carla进行决策动作推理。
3.自主学习调节大模型的prompt。
4.快速掌握视觉语言大模型VLM的微调实战方法之一。

购买之后是代码+代码工程的答疑+社区交流群。以上知识会让大家学会掌握，但是不能说是关于大模型的各种教学，毕竟蕴含的知识太广泛。
如果你嫌贵，想自己多花几个月去学习也可以。这里目的是让大家有方向，更快速掌握理解大模型的落地实战。

购买须知：
1.一经购买不可退款，购买前可以尽情了解清楚情况，购买后不得已不适合自己为由退款。
2. 该工程版权归属b站算法舵手，自主学习即可，请勿外传，咸鱼淘宝倒卖和上传github公开！！！感谢支持和配合。
3. 工程只是个demo，可能需要进一步优化，比如换一个场景之后，LLM收集环境的文本信息需要进一步调节，那些都不是万能的。这只是个demo！！!，可能推理不准等等问题，但是可以调出比较好的视觉效果，如我视频调的。
4. 现在有的效果已经都录好视频，大家可以上主页查看效果。我电脑加载权重跑VLM超级卡，所以没录VLM的视频，大家最好在组里的服务器去跑试试，或者花钱买API。
5. 目前已社区交流为主，1对1答疑辅导毕设论文等暂时没时间接。
6. 这个工程社区没有教carla的场景搭建，leaderboard框架很难搭建，想学习怎么搭建，可以看我们这个单智能体强化学习系列：
从零开始学习自动驾驶端到端深度强化/模仿学习实战项目
里面自主搭建了好多场景，代码也比较容易看懂。
7.代码是基于carla leaderboard改的，里面代码量挺多的，主要学习大模型和carla之间的信息交互部分即可，场景也是拿leaderboard榜单上面方法用的场景改的。介意者勿拍。
8.显卡显存：如果只用API，那么显卡只需要能跑carla0.9.13就行，只是GTX-1050以上: 可参考显卡天梯度：

GTX 1050 显卡的性能怎么样？ - 知乎 (zhihu.com)

如果用本地权重，那么qwen-vl-7b都需要17G显存了，而且如果要下载的模型权重越大，显存也会需要越多。另外显卡本身需要更高配置，不然推理贼卡或者跑不了，显卡至少要GTX-3系列及以上，确保高性能。一般推荐组里用的服务器，有桌面版的那种。

9.这个套餐基本是Carla的相关实战，暂时没有后续实战平台。
10.目前没有啥融合感知算法，因为可以直接从carla获取环境信息，就只是用LLM和VLM推理Carla决策，可以自行推广到任何具身智能仿真平台。
11.微调的方法是以自己收集的CARLA数据为例子，微调需要的硬件很高，我用的一张A100，大家自己查一查微调的硬件需求吧。还有微调内容刚出，视频录了SFT。
12. VLM的API的函数因为要money所以还没没写，只测试了vlm下载qwen2-vl权重的。但是vlm的api函数跟LLM基本一样，可以学完其他的自己练习加一下这个函数内容，不难。
13. 大模型和carla的版本是可以往越高的版本改。比如有学员已经自行调通了Qwen3和carla0.9.15版本的推理。

内容列表：
1.基于LLM的Carla动作推理，直线鬼探头场景，包括API和权重调用
2.基于VLM的Carla动作推理，直线鬼探头场景，包括API和权重调用
3.基于VLM的SFT微调Carla数据实战示例
4.基于VLM的GRPO微调Carla数据实战示例（硬件要求很高）

内容列表虽简单，但对于学习这方面知识的同学，会很有帮助。欢迎加入社区。

b站主页：算法舵手