本文详细介绍了大模型应用中的意图识别技术,包括基础方法(规则、深度学习、大模型)和进阶方法(大模型应用、Prompt优化、TOP N召回、向量检索)。文章强调提升准确率的关键在于分类体系的正交性和各子分类的足够样本,并通过微调和召回策略可实现高精度分类。为处理大量分类场景,提出了先召回TOP N再排序的两阶段方法,并结合向量模型微调进一步提升效果。

定义:Agent或者大模型应用中,意图识别经常是一个关键的问题。意图识别往往是一个分类任务。在智能汽车的智能助手中,就是对用户在驾驶中意图的分类,比如关闭空调,换一首歌,导航等。在电商客服任务中,意图识别往往是用户意图的分类,比如咨询属性,售后退款等。

一)基础方法:

基于规则:通过规则,如包含某个字符串,或符合某个正则表达式,规则方法比较直接,但召回率和准确率比较难提升;

基于深度学习:基于bert做一个分类器,这个优势是模型比较小,延时低,劣势是需要调模型,比较复杂;

基于大模型:基于大模型,写一个prompt直接分类,参考下面的例子;

例子:“你是一个电商任务下的意图分类器,你需要基于用户的query做出合理的分类。分类的种类有:类型1;类型2;类型3…

二)进阶方法:

大模型的方法:由于LLM具有强大的语义表征能力,在多个NLP任务中已经比传统的NLP方法提升了很多,基本上颠覆了传统NLP任务的方法。由此到了今天,大部分NLP任务可以优先选择大模型作为基础的解决工具。

Prompt优化:通过常用的prompt优化方法,比如语句简单清晰等,可以让模型指标有一定的提升;

增加召回:

如果分类数量少,比如10个以内,那么直接让LLM分类,准确率会比较高。如果分类有500个以上,参考上面的prompt例子,这个时候prompt会比较长,大模型对着500个分类的感知可能会比较弱。

TOP N召回:先基于用户意图,通过上面提到的深度模型或者向量检索,召回TOP N个最相关的(比如50个),然后让大模型对50个分类进行排序,这个时候效果会有比较大的提升。

向量检索模型:可以用开源的模型,比如BGE,GTE等;

向量模型微调:如果效果不好,还可以基于领域内的样本,对模型进行微调,往往也会有很好的提升;

三)提升准确率关键点:

分类关键问题:任何分类问题,如果要做到准确率95%以上,其实有两个关键问题:1)分类体系足够清晰;2)每个子分类有足够的样本;

分类体系:分类体系关键是要符合独立正交的原则,也就是各个子分类之间不要有交叉;比如一个分类体系是“工程师/男人/理发师”,这里“男人”这个分类和“工程师/理发师”都会有交叉。好的分类是“工程师/理发师/公交司机”这样。这部分是很多算法同学特别容易忽略的,非常影响效果。

足够样本:如果分类体系足够正交,每个子分类下有足够的样本就是第二个关键点。通过LLM自动化标注或者人工标注得到足够高质量样本。

模型微调:用上述样本对LLM进行微调,再结合前面的召回思路,整体上肯定可以实现分类达到一个非常高的准确率。

那么,如何系统的去学习大模型LLM?

作为一名从业五年的资深大模型算法工程师,我经常会收到一些评论和私信,我是小白,学习大模型该从哪里入手呢?我自学没有方向怎么办?这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!这些问题啊,也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点,给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢,我就曾放空大脑,以一个大模型小白的角度去重新解析它,采用基础知识和实战项目相结合的教学方式,历时3个月,终于完成了这样的课程,让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限,⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》,扫码获取~
在这里插入图片描述

为什么要学习大模型?

我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着AI技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。

在这里插入图片描述

在这里插入图片描述

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢,会从基础篇、进阶篇和项目实战篇等三大方面来讲解。
在这里插入图片描述
在这里插入图片描述

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程,带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念,用最易懂的方式带你入门大模型。
在这里插入图片描述

👉②.进阶篇👈

接下来是进阶篇,你将掌握RAG、Agent、Langchain、大模型微调和私有化部署,学习如何构建外挂知识库并和自己的企业相结合,学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。
在这里插入图片描述

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目(已脱敏),比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等,从而帮助大家更好的应对大模型时代的挑战。
在这里插入图片描述

👉④.福利篇👈

最后呢,会给大家一个小福利,课程视频中的所有素材,有搭建AI开发环境资料包,还有学习计划表,几十上百G素材、电子书和课件等等,只要你能想到的素材,我这里几乎都有。我已经全部上传到CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
在这里插入图片描述
相信我,这套大模型系统教程将会是全网最齐全 最易懂的小白专用课!!

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐