本文智能体基于Rokid AI Glasses和灵珠AI平台开发,开发指南:https://forum.rokid.com/index

一、前言

最近去野外踏青的时候,很多带着小朋友的家庭,也可能是楼主年纪大了,就喜欢看这种温馨的场面。有的小朋友好奇心比较重,看到会飞的蝴蝶,水里的青蛙都要追问个七七八八的,“这只丑丑的虫子叫什么呀?”作为家长还真的会有被问到知识盲区的时候。只能掏出手机百度一番,或者打开问豆包......

回来之后我就琢磨:能不能让眼镜直接充当一个随身昆虫图鉴?看见不认识的虫子,喊一声指令,镜片上立刻弹出来它叫什么、有没有毒、平常爱吃什么叶子。正好最近楼主接触到了Rokid的一款AI眼镜,智能体也在大肆发展上线中,于是花了两天时间搭了一个叫「昆虫百科」的智能体。

它的定位很纯粹:给户外徒步、亲子露营、自然观察那批人用的,不整花活,就是认虫、出结果、不啰嗦。

怎么个识别法?

全程不跳转应用,也不需要在手机上操作,低头看虫、抬头看信息,挺顺。

二、智能体搭建流程

1. 登录灵珠平台创建

登录到Rokid 灵珠平台,填写智能体的基本信息并配一个吸睛的logo就能创建,logo楼主是使用豆包生成的。

智能体名称:【昆虫百科】

简介:使用Rokid AI眼镜实时拍摄视线内的昆虫,智能体自动识别种类并快速获取百度百科信息,将昆虫名称、科目、习性、是否有毒等关键内容以轻量化、高可读的 AR 格式投射到眼镜端,实现“看见即识别、抬手即科普”的随身识虫工具。

2. 详细配置

人设与回复逻辑开发
左侧区域的提示词开发,这部分是智能体整个开发过程的重要一环,成功与否取决于你提示词设置的合理程度。这一部分的开发必须尽可能的详细,约束智能体的回复逻辑严格安装自己的要求进行,这里楼主贴了部分核心提示词:

【核心任务】
识别用户对话内容,然后调用{notify_take_photo}插件拍照,智能体接收到拍照图片,然后你必须严格执行以下任务:
1. 对图片中的昆虫进行高精度识别,确定其中文正式名称、常见俗称、所属目科。
2. 自动检索并整理该昆虫的权威百科信息,内容真实可靠,基于公开可查证资料。
3. 提取用户最关心的关键信息:外形特征、生活习性、分布区域、食性、是否有毒、是否蜇人、是否为益虫或害虫。
4. 将所有信息以短句、分点、轻量化结构输出,确保在AR眼镜上阅读舒适、不拥挤、不卡顿。
5. 若图片模糊、遮挡严重、特征不明显,无法准确识别,则明确提示用户,不猜测、不乱命名、不模糊归类。

【识别规则】
1. 识别需综合外形、颜色、斑纹、翅型、触角、足的结构、体型及环境场景多维度判断,优先识别城市、户外、公园、农田中常见的昆虫。
2. 能够准确区分蝴蝶、飞蛾、蜜蜂、蚂蚁、苍蝇、蚊子、甲虫、螳螂、蜻蜓、瓢虫、蝽类、纺织娘等常见种类。
3. 对于蜘蛛、蜈蚣、马陆、蝎子等非昆虫的节肢动物,必须明确标注“非昆虫,属于节肢动物”,不得误判为昆虫。
4. 若识别置信度不足,直接回复“无法准确识别,请拍摄更清晰完整的昆虫画面”,不随意归类、不编造名称。
5. 禁止出现张冠李戴、错误分类、虚构习性等问题,识别准确性优先于输出速度。

【百科信息输出规则】
1. 内容精简实用,面向普通用户,避免过于学术化的专业术语,必要时简单解释。
2. 必须包含以下固定模块:
   - 昆虫名称(正式名 + 俗称)
   - 科目分类(目、科)
   - 外形特征(2-4条短句)
   - 生活习性(栖息环境、活动时间、食性)
   - 分布地区
   - 安全提示(是否有毒、是否蜇人、是否有害)
3. 不提供养殖、捕捉、药用、偏方、实验方法等无关或危险内容。
4. 不传播恐慌信息,不夸大毒性与攻击性,保持客观中立。
5. 不加入无关典故、延伸内容,只输出与该昆虫直接相关的科普信息。
6. 输出格式注意换行和阅读美观度

插件选择&配置开场白
乐奇AI眼镜控制插件 / notify_take_photo插件这里需要添加,认准楼主贴图中的这个插件即可,开场白可以设置一句精简的话术,楼主这里设置的:你好,我是昆虫百科。请用 Rokid 眼镜对准眼前的昆虫,我会立刻识别种类,并为你展示百科信息。

灵珠平台进行预览&调试
该阶段楼主随便找了张图先测试一下智能体的回复逻辑是否符合预期,没问题之后再进行连接眼镜进行调试。下面的贴图是经过多轮优化后的最终输出,已经达到我们的预期。

2. 眼镜端测试
眼镜端的每一次对话不仅仅会在眼镜上进行投射,历史对话也有相应的记录,可以在APP上找到,以下是我的对话测试截图。

测试七星瓢虫
这部分的回复逻辑可以实时在APP上体现

眼镜端的展示可以使用APP的截图工具就能捕获当前的投射信息,如下图:

再测试一个昆虫,我也不认识,直接从网上找图,刚好测试以下智能体识别的准确度

发布智能体
经过灵珠平台的多轮优化,包括线上、眼镜端的各项测试,确保我的智能体【昆虫百科】是合格的,直接发布提审就好了~

三、技术展望

眼下能干什么:最直接的就是户外亲子场景。家长不用再被孩子问住,眼镜一戴就是随身版的昆虫百科,既能识别常见益虫、讲解习性,更能精准识别有害昆虫并及时预警,守护亲子户外安全。踏青的带队老师、喜欢周末徒步的爱好者,也都能拿它当个轻量化的识虫工具,不仅能认识昆虫,还能快速判断昆虫是否有害、遇到后如何应对,避免意外叮咬或伤害。

后续我准备将更多的应用场景添加进来,如下表的有害昆虫识别、分级预警提示等等

功能模块

具体内容

适配场景

核心价值

有害昆虫识别

精准识别蚊子、毒隐翅虫、马蜂、蜈蚣、螨虫、臭虫等常见有害昆虫,区分益虫与有害昆虫

户外亲子、徒步、踏青、露营

快速甄别风险,避免误触有害昆虫

分级预警提示

按危害程度分为三级:一般有害(如蚊子)、中度有害(如臭虫)、高度有害(如毒隐翅虫、马蜂),预警语简洁醒目

所有户外场景,重点适配亲子、徒步

明确风险等级,直观传递危险程度

应急处理建议

针对不同有害昆虫,给出简单可操作的应急方案(无需专业工具,户外可即时执行)

户外突发叮咬、接触场景

无需查阅资料,抬眼获取应急方法,降低伤害

危害说明

简要告知有害昆虫的具体危害(如叮咬后瘙痒、有毒、引发过敏、蜇伤红肿等)

所有户外场景

让用户快速了解风险,提高防范意识

往后还能拓展什么。这套 “端侧拍照 + 智能体解析 + AR 投射” 的底子,本身和识别对象没绑死。把昆虫库换成植物库就是「一眼识花」,换成矿石库就是「一眼识石」......总之Rokid 平台并没有将我们的想象力限死,无论是昆虫识别的功能延伸,还是其他场景的创意落地,只要你有好的创意,都有在这个平台实现并落地的可能性。最后期待更多的开发者入驻,丰富 AR 眼镜的功能场景,让智能体不仅是 “识别工具”,更是户外出行的 “安全助手”,未来的 Rokid AI 眼镜的发展也将是一片蓝图。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐