1  课程介绍

这个是一个嵌入式开发的项目,涉及到对硬件的烧录、调用大模型API+Agent API进行语音对话。

这个AI+硬件嵌入式开发的项目是Datawhale在2026年1月才开始的第一期课程,当时正值期末,几位开发课程的大学生朋友一边忙着考试,一边开发课程真的是非常辛苦。

在此非常感谢Datawhale的发起人和几位 课程开发的朋友,让我第一次体会到了嵌入式开发的乐趣。

📖 学习指南:课程主页与详细教程(可提前预习整体框架)
教程地址:https://github.com/datawhalechina/whale-bot
学习指南:https://www.datawhale.cn/learn/summary/268

第一期的课程我都按计划完成了,并在B站发布了打卡视频,有兴趣的朋友可以去了解一下。

【嵌入式开发】AI鲸鱼小车Task1_哔哩哔哩_bilibili

【嵌入式开发】AI鲸鱼小车Task2_哔哩哔哩_bilibili

【嵌入式发】AI鲸鱼小车Task3_哔哩哔哩_bilibili

【嵌入式开发】AI鲸鱼小车Task4_哔哩哔哩_bilibili

1-1  需要的软件

需要至少3种烧录软件:

1.Arduino IDE 对「ESP32-S3」进行烧录

2.天问BLOCK对「天问语音模块」进行烧录

3.USART HMI对「陶晶驰显示屏」进行烧录

软件下载、安装方法教程里面都有详实的介绍。

1-2  需要的硬件

第一期需要的硬件如下:

名称 型号
开发板 ESP32-S3-DevKitC-1
语音识别 天问 ASRPRO 开发板
麦克风 INMP441 全向麦克风模块(I2S接口)
功放模块 MAX98357A(I2S接口,音质更清晰)
扬声器 3070—8欧3瓦—带线2P
电机 N20 减速电机 
电机驱动 迷你版 TB6612FNG 
车轮 60mm 麦克纳姆轮
显示屏 2.0寸LCD串口屏,
电池 亿通电子,型号18650,12V,1200mAh
PCB板 专用
杜邦线 若干
ttl转USB 没有也可以,有替代方案
电烙铁套装 本课程可以不用,不过最好准备一个
充电器 可以用路由器充电器

第二期有所变更,第二期没有了专用的PCB板,改用杜邦线连接,还将功放和麦克风换成了集成的。

名称 型号
开发板 ESP32-S3-DevKitC-1
语音识别 天问 ASRPRO 开发板
功放模块 MAX98357 INMP441音频集成模块
扬声器 3070—8欧3瓦—带线2P(2个)
电机 N20 减速电机 (4个)
电机驱动 迷你版 TB6612FNG (2个)
车轮 60mm 麦克纳姆轮(4个)
显示屏 2.0寸LCD串口屏,
电池 亿通电子,型号18650,12V,1200mAh
PCB板 专用
杜邦线 若干
ttl转USB 没有也可以,有替代方案
电烙铁套装 本课程可以不用,不过最好准备一个
充电器 可以用路由器充电器

2  为什么要报名第二期的学习呢?

因为第一期的还有一些遗憾,希望在第二期可以完成。

遗憾1:对话需要等待的时间比较长,还需要优化。(现在是需要等待10几秒)

遗憾2:ESP32与显示屏之间的通信方法还没有掌握,我想将聊天的内容显示到显示屏上。

遗憾3:语音播放时,尾音有重复的现象,还没有完全消除。一开始重复4次,到后来重复2次,如何使其不再重复,还需要摸索。

遗憾4:切换语音的模型,可以设置不同的语音模型进行对话,而不是只能使用默认的。

目标:像AI小智一样进行连续的多伦对话。

通过第一期的学习,感觉这个目标其实是很有难度的。技术从能用到产品,是一段非常困难的路!

3  Task1---集齐所需的硬件

由于第一期已经购买了所需的硬件,所以这一期只需要补齐有差异的功放麦克风集成模块就好了。

准备的硬件如下图所示:

硬件都准备好了,准备开始优化之路啦!

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐