本文都是独立创作的,本文的前半部分是参加了网红博客的解释,后半部分为独立研究。 

1. 自信度简介

改进点:

最近Meta的工程师,提出了大模型的自信度这篇文章,它大大消除了大模型的一些弱点,比如:

  • 有时,第一次提问目前的大模型回答A,第二次相同的提问,大模型回答B,所以,这个想象在改进后将消除。
  • 这个改进也将消除大模型的幻想,也就是大模型不按照事实来回答。 

概念:

大模型的自信度就是大模型对回答的正确度打分,分数越高,大模型继续生成答案,分数低,就是大模型对自己的回答没有信心,大模型就可能中断回答的产生。 

应用:

自信度在很多场合能有非常大的应用,本文列举三种改进场合:

1. 医疗领域,当回答的自信度不够时,大模型会告诉医生选择其他方式或工具。

2. 自动驾驶领域:当大模型提出的动作自信度不高时,它提醒人为介入。 

3. 教师自动教案编写,当大模型的自信度不高时,它提议老师请您用其他参考文献。

2. 熵和自信度的区别

熵的概念

熵就是模糊度,熵值越低,说明确定率越高,模糊度越低,确定越强。熵值越高,说明模糊度很大,不确定性高。

问题:

既然大模型产生下一个词也有熵值,为什么还要自信度,两者有什么区别?

熵和自信度的区别

在大模型中,在产生下一个词中,会有熵值产生,来说明产生的下一个词的把握度,只是针对下一个词的。不是针对回答本身。所以,熵值和自信度有很大区别。 

3. 自信度对算力的优势

通常,大模型对一个提问有时需要产生很多种回答,然后选择其中一种。因为有自信度,一些回答的链路因为自信度低,直接被淘汰了,也就不消耗算力了。 这大大节省了算力。所以,引进自信度使大模型效率提升了。 

4. 参考:

Deep think with confidence:Yichao Fu , Xuewei Wang, Yuandong Tian, Jiawei Zhao 

可以通过链接下载。https://arxiv.org/pdf/2508.15260

5. 后续:

怎样产生自信度的方法,请读者自行查阅相关文献。 这也是笔者的后续工作。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐