导读

本篇来聊聊智能体系统里常见的模块:路由。内容包含路由的作用、实现路由的4种常见模式及其对比。

路由模块的作用

企业都在拥抱AI,要么想把现有系统AI化,要么想用智能体重构。在建设智能体的过程中,大概率要引入路由模块。

什么是路由?现实生活中其实有很多关于路由的例子。比如家里上网用的路由器,一个宽带光猫只能连一台设备,靠路由器把宽带信号分发给电脑、手机、平板多个设备上。比如医院大厅的导诊台,把不同诉求的病人引导到不同的科室。简而言之,路由最主要的作用就是分发调度、仲裁及兜底。

分发的前提要先完成用户意图的理解。即需要分析用户的输入代表什么意图,综合考虑上下文信息包括前序交互内容、当前环境感知及状态信息。进而做出动态决策,把请求导流到不同的专门处理流程。只有准确的意图理解才能做到精准分发。

除此之外,用户输入query可能不完整、可能缺少主语宾语、可能包含多个意图、甚至可能无效,因此为了正确识别用户输入query,可能还会涉及query澄清、query改写、query多意图拆分、query兜底回复。

图片

比方说在电商客服智能体里,客户的输入可能是查看物流、改定单、退货、投诉等,为了能快速有效处理请求,需要路由模块精确识别客户的输入并转到对应的模块。实际落地当中,路由模块本身就可以是一个智能体,下游模块是另外的智能体,也就是多智能体架构。此时路由智能体就充当了多智能体的主agent作用。

如果熟悉分布式或微服务架构的话,你可能会想到网关模块。没错,路由跟网关很类似,相同的是两者都是为了让请求方以无差别的方式请求整个系统,不用知道系统背后的模块细节,同时让响应方专注处理应该由本模块响应的有效请求。两者还承担了转换下游不同模块的返回数据的协议和格式。

和网关模块不同的是路由模块更多会用大模型技术来实现,路由的分发决策做的好不好和请求的领域语义理解息息相关,而网关只专注网络协议等技术问题,不耦合业务领域语义。

路由的常见实现模式

前面讲到,路由之所以能做出合理的分发决策是因为能理解用户输入的内容,最常见的输入内容是自然语言的文本表达,如“我要退货”。因此根据意图分析理解的手段可以把路由实现模式分为以下四种模式:

基于规则的路由:

在机器学习流行以前,这是主要的一种实现方式,也是早期NLP的常见做法。大致实现过程是:预先枚举定义出一系列的说法规则并编译成对应引擎的格式,比如正则表达式、前缀树、开源或自研的规则引擎。然后在运行时对用户输入进行匹配,按照阈值计算是否满足。最简单的匹配是关键词匹配、正则匹配。复杂一点利用前缀树或规则引擎进行匹配。

这种模式的好处是比较容易组织代码完成规则的预先定义,运行时的响应速度快,比下面三种模式的响应时间都快且结果可预知。不好的点是泛化性不足,遇到用户灵活表达时一定会捉襟见肘,显得不那么智能。

基于小模型的路由:

这里说的小模型是相对大语言模型的百亿千亿参数而言。换句话说小模型的参数也可以达到亿级别。小模型也是采用机器学习方式训练出来的模型。路由任务属于判别和分类这类模式。既然是机器学习,模型训练一样需要经过收集数据样本、数据标注、在基模上监督微调。

小模型在泛化性方面比规则模式高很多,在响应时间方面比大模型快很多。因此是实际项目落地的首选。毕竟分类这个任务不需要用到大模型的生成能力。

基于大模型LLM的路由:

我们都知道大模型能做很多事情,自然包括分类任务。用大模型来做分类可以直接写提示词prompt,也可以继续做SFT微调。写提示词要考验分类种类的边界设计、典型样例的选取,同时要写清楚需要让大模型输出哪种格式的结果。往往以某种约定的标识符或指令呈现,比如json格式。

举例:用户输入的内容可能是“xx商品双11有哪些优惠”、“我看要下订单xx的物流进度”、“我要退货”,可以用提示词调用大模型对用户输入进行分类,根据下游的模块情况给出候选分类:商品信息、订单、物流、售后、其他。

大模型模式的好处是不用预先做工作,用提示词就可以完成冷启动,验证业务流程。根据业务要求的效果指标再看是否需要微调。当然微调需要大模型训练环境,大概率需要算法策略人员参与。另外不好的地方就是响应时间长达几秒。遇到bad case不好修复,修改提示词往往会按下葫芦起了瓢。

基于嵌入Embedding的路由:

嵌入模式本质就是根据输入内容进行向量化检索。把用户请求内容进行向量化,查询向量库,得到语义最相似的结果,根据结果分发到对应模块。这个模式在传统基于关键词检索的基础上加入了语义理解,也就是说能对用户输入的内容给予语义层面的分析。

嵌入的前提是要用RAG技术先建立向量库,需提前准备样本,每个样本包括用户输入及对应分类。算是RAG技术诸多应用场景的一个。对比前面大小模型的模式,嵌入用到的技术组件都比较成熟了,不太需要专门的算法策略人员,靠软件工程人员也能完成落地。

四种模式的比较

模式

准确度

响应时间

落地复杂度

bad case修复

注意事项

规则路由

毫秒级

容易

容易

适合输入简单,准确度要求低的场景

小模型路由

秒级以下

中等

中等

需要算法工程师参与,依赖数据样本质量

大模型路由

几秒级

容易

依赖基础大模型效果

嵌入路由

秒级以下

中等

中等

依赖向量计算服务、依赖数据样本质量

结语

路由模块是自适应智能体系统设计中的关键控制机制,路由模块可以在智能体流程里的开始或中间的多个节点实现。可以用作分类用途,也可以用来选取调用合适的工具。

在实际项目情况,一般建议先用大模型模式采用提示词路由快速验证分发能力,跑通流程。如果对精确度有更高要求,可以使用嵌入路由和小模型路由进行专门优化。实际项目里可能需要搭配着几种路由一起使用。比如需要对bad case做快速干预修复时可能就会用到规则路由或者嵌入嵌入路由。如果团队有算法人员,推荐采用小模型模式,基于自身业务领域的样本进行SFT微调。从响应时间和维护成本看,一般不推荐基于大模型基模来做微调。

路由模块跟业务紧密相关,随着业务发展需要不断迭代。看似容易,但需要不停在理解效果、响应时延、实现成本之间求得最佳平衡。

 最后

我在一线科技企业深耕十二载,见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事,早已在效率与薪资上形成代际优势,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包:

  • ✅AI大模型学习路线图
  • ✅Agent行业报告
  • ✅100集大模型视频教程
  • ✅大模型书籍PDF
  • ✅DeepSeek教程
  • ✅AI产品经理入门资料

如果你也想通过学大模型技术去帮助自己升职和加薪,可以扫描下方链接👇👇
​​
在这里插入图片描述

为什么我要说现在普通人就业/升职加薪的首选是AI大模型?

人工智能技术的爆发式增长,正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议,到全国两会关于AI产业发展的政策聚焦,再到招聘会上排起的长队,AI的热度已从技术领域渗透到就业市场的每一个角落。

img
智联招聘的最新数据给出了最直观的印证:2025年2月,AI领域求职人数同比增幅突破200% ,远超其他行业平均水平;整个人工智能行业的求职增速达到33.4%,位居各行业榜首,其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张,也让人才供需矛盾愈发突出。麦肯锡报告明确预测,到2030年中国AI专业人才需求将达600万人,人才缺口可能高达400万人,这一缺口不仅存在于核心技术领域,更蔓延至产业应用的各个环节。

在这里插入图片描述

​​
在这里插入图片描述

资料包有什么?

①从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点
在这里插入图片描述

② AI大模型学习路线图(还有视频解说)

全过程AI大模型学习路线

在这里插入图片描述

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了,这些是我精选出来的

在这里插入图片描述

④各大厂大模型面试题目详解

在这里插入图片描述
⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制,且资料与智泊AI共享,相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

在这里插入图片描述
在这里插入图片描述

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌,通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌,构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论,还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事‌!

​​​​在这里插入图片描述
在这里插入图片描述

如果说你是以下人群中的其中一类,都可以来智泊AI学习人工智能,找到高薪工作,一次小小的“投资”换来的是终身受益!

应届毕业生‌:无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。

零基础转型‌:非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈:传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型‌。

👉获取方式:

😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐