实验5  体验大语言模型

目的和要求

(1)了解大语言模型的工作原理

2)了解海内外主流大语言模型的基本情况

3)练习体验海内外主流大语言模型

实验准备

(1)了解大语言模型指使用大量文本数据训练的深度学习模型,可以生成自然语言文本或理解语言文本的含义。

(2)了解现阶段,所有的大语言模型都基于Transformer架构。

(3)了解GPT模型的诞生可以说是NLP技术的发展历史中一个重要的里程碑,这是NLP技术的重大突破。GPT系列大语言模型包含GPT-1、GPT-2、GPT-3、GPT-3.5和GPT-4等5个版本。

(4)了解文心一言是百度全新一代知识增强大语言模型,是文心大模型家族的新成员,能够与用户进行对话互动、回答用户的问题,并实现协助创作,高效便捷地帮助人们获取信息、知识和灵感等功能。文心一言是基于海量数据和知识进行融合学习的预训练大模型,也是国内参数数量比较多的大语言模型

(5)了解通义千问是阿里云推出的大语言模型,其功能包括多轮对话、文案创作、逻辑推理、多模态理解、多语言支持。并能够和人类进行多轮的交互,也融入了多模态的知识理解、有文案创作能力、能够续写小说,编写邮件等。

实验内容

推荐的大语言模型有智谱清言、豆包、文心一言、通义千问、chatgpt等。选择2种大语言模型体验纯文本任务和多模态任务两种类型,完成下列表格的填写。

我选择XXX1和XXX2大模型

序号

考察能力

题目

回复

评价

1

逻辑推理

一个人带一只黄狗、一只白兔和一颗白菜过河,河边只有一条小船,此人每次只能带一样东西过河,如果此人不在,黄狗要咬白兔,白兔要啃白菜。请想一想:既不让黄狗咬白兔,又不让白兔啃白菜,该怎么设计过河方案

文心一言:先带白兔,再带黄狗带回白兔,带白菜,最后带白兔

ChatGPT:同文心一言的四步过河方案

良好

2

总结归纳

我家的猫叫花咪咪,我家的狗叫黄旺旺,请问我家的羊叫什么

文心一言:未提供羊名,推测可叫暖洋洋

ChatGPT:无羊名,推测可叫咩洋洋

良好

3

计算能力

753×951=?

豆包:716103

文心一言:716103

良好

4

历史知识

“五代十国”包括哪些朝代

豆包:五代:梁唐晋汉周;十国:蜀吴唐吴越等十政权

文心一言:豆包,表述更简练

良好

5

历史知识+逻辑推理

刘备怎样才能统一天下

豆包:避夷陵之战,稳联吴,休养生息,抓曹魏内乱北伐

文心一言:固孙刘联盟,稳后方,稳扎稳打北伐

良好

6

创作能力

我是一个科技公司的老板,请帮我设计一份简短的公司年会发言稿,100字以内

豆包:


科技公司年会发言稿(89 字)

文心一言:科技公司年会发言稿

良好

7

角色扮演+创作能力

我是一名女学生,身高160cm,体重60kg,平时学习比较紧张,假如你是我的健身教练,请帮忙设计一个每天30min的健身计划

豆包:热身 5min + 燃脂 15min + 拉伸 10min

文心一言:热身 5min + 核心 10min + 有氧 10min + 拉伸 5min

良好

8

续写

如果由你来续写《红楼梦》的后40回,你会如何设计其中的情节?请用100字以内的篇幅概括

豆包:贾府抄家,宝玉遇惜春,宝钗病逝,宝玉出家

文心一言:

黛玉逝,宝玉拒科举,遇妙玉后出家

优秀

9

伦理问题

一列火车正常行驶,前方轨道上有5个小孩在玩耍,而另一条废弃轨道上有一个小孩。如果你是火车司机,突然发现制动失灵,你会变更轨道吗

豆包:不换轨,因废弃轨道小孩无过错

文心一言:不换轨,不主动伤害无辜者

良好

10

记忆能力

最近24h内,我提了几个问题?其中有几个关于历史的问题

豆包:无实时记忆功能,无法统计

文心一言:无对话记录功能,无法统计

优秀

11

简单比大小

数字9.11和9.9哪个大

豆包:9.9 大,因十分位 9>1

文心一言: 9.9 大,小数比较规则说明

优秀

序号1-11是纯文本任务

序号

考察能力

题目

回复

评价

12

平面设计

请设计一个科技公司的Logo,要求扁平化风格,构图简洁明了

豆包

文心一言

优秀

13

文生图

请生成一张名为“花丛中的女孩”的图像:明媚的阳光下,一个身穿白裙子的女孩站在花丛中

豆包

文心一言

优秀

14

请识别图像中的景点

豆包:杭州西湖

文心一言:杭州西湖

优秀

15

图像识别

上传一张迈克尔·乔丹的图像,请大语言模型识别其中是谁

豆包:迈克尔.乔丹

文心一言:迈克尔.乔丹

优秀

16

图像识别

请识别图像中有几个人,他们在干什么

豆包:这个图像里只有 1 个人,是篮球运动员迈克尔・乔丹,他正处于篮球比赛(或训练)的场景中,在篮球场上持球、呈运球突破的姿态。

文心一言:图像里只有 1 个人,是篮球运动员迈克尔・乔丹,他正处于篮球场上,手持篮球、摆出运球突破的姿势,看起来是在进行篮球比赛或训练。

优秀

17

图像识别

请识别图像中人物的表情,分析其此刻的心情

豆包:从图像看,人物(迈克尔・乔丹)的表情比较专注,眉头微收、眼神紧盯前方,呈现出一种高度集中的状态。

结合他在篮球场上持球的动作,能看出他此刻处于比赛 / 训练的投入状态,心情应该是紧绷且专注的,带着竞技时的认真与对局势的聚焦。

文心一言:从图中可以看到,乔丹的表情是紧绷且专注的:眉头微微皱起,眼神锐利地锁定前方,面部线条比较收紧。

结合他在球场上持球的竞技姿态,能判断他此刻正处于比赛(或训练)的高度投入状态,心情是集中且紧绷的,带着对比赛局势的专注和竞技时的紧张感。

良好

序号12-19是图像处理任务

总结:

豆包

性价比高,语音交互自然,适配短视频等字节生态场景,法律等垂直领域覆盖全

网页版功能简陋,数学逻辑弱,多模态能力滞后,生成内容缺新颖性

文心一言 4.0

中文理解能力顶尖,文本创作有文采,适配企业级场景,支持多模态交互

免费版功能受限,C 端创意生成弱,代码能力一般,专业领域深度不足

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐