文心一言VS天工大模型,究竟谁才是国内“首个”ChatGPT?
最近,昆仑万维和百度“杠”起来了,原因还是因为最近大火的大语言模型。
4月17日,昆仑万维正式推出“天工”大模型,并于当日开启测试邀请。彼时,昆仑万维对外的宣传用语是“中国第一个真正实现智能涌现的国产语言大模型。”
有意思的是,百度在发布文心一言的时候,对外输出的宣传用语是“国内首家做出大语言模型产品的科技互联网大厂”。
从表面上看,两家的宣传语中心不一样,话术也有所不同,看似风平浪静,但实则内核都是在争一个“首家”。
为什么要争“首家”,除了能力的对比,市场的争夺外,还有振奋股价,提高市值的作用,百度消息公布当天,港股股价大涨15%,昆仑万维也一样,官宣第二天股价涨幅达到7.68%。
不过,究竟谁是国内首家呢?
从项目披露时间来看,百度是在去年9月份左右开始去内部推进文心一言项目,到今年2月初正式放出项目的消息,并于3月中旬正式对外官宣了文心一言。
昆仑万维官方并没有公布具体的项目开始时间,但是从2020年开始,昆仑万维就已经开始布局AIGC领域。
从技术层面来看,文心一言背后,百度在人工智能领域有四层架构、全栈布局,包括底层的芯片、深度学习框架、大模型以及最上层的搜索等应用。另外,深耕人工智能领域多年的百度,拥有产业级知识增强文心大模型ERNIE,具备跨模态、跨语言的深度语义理解与生成能力。
昆仑万维同样具备大模型四要素:数据、算力、算法以及大参数语言模型。据昆仑万维介绍,天工是双千亿参数训练的结果——千亿预训练基座模型、千亿RLHF模型。
不过,既然两家的底座能力看起来不相上下,那么我们就将这两家放在一起,试试“内功”。
01.
中文语意理解能力
昆仑万维对外展示的技术路径现实,天工团队引入模特卡洛搜索树算法后,在语意理解、转换话题能力上有所提升。
在此背景下,我们首先和天工玩起了成语接龙游戏。不过,天工的完成度并不好,甚至没能理解什么是成语接龙。
文心一言在成语接龙上的表现是优于天工大模型的。
紧接着,我们向文心一言和天工大模型抛出了一个问题——“写一本类似《人世间》一样题材宏大,展现中国历史变迁的小说提纲,字数1000字左右。”对于这个问题,文心一言和天工都将问题的重心放在了“题材宏大”、“历史变迁”这两个关键词上。
于是,两家生成的内容都不符合我们最开始的预期。
上图“天工大模型”,下图文心一言
这个问题,或许是由于我们给出了一定的误导性,所以导致两家生成的答案都不尽人意。但是,天工稍微比文心一言好一些,原因在于,文心一言将“历史变迁”直接解读成了朝代变迁。
尽管天工的回答也是文不对题,但是有人物设定,朝代设定,内容的可操作性和延展性明显是优于文心一言。
将问题拉回《人世间》类似的小说提纲,我们改变了提问角度,连续发文:《人世间》讲了一个什么样的故事、那你能写出类似题材的小说提纲么?大概1000字左右。
在提取重点、联想写作、以及话题的连续性上,天工的表现还是不错的。
但是文心一言就“开了小差”。
文心一言的回答出现了明显的错误。不过,我们再一次将问题抛给文心一言,重新生成答案。这一次,文心一言又重回正轨,给出了相应的答案。
此外,我们还用三个连续性问题,向天工发问。此前,我们在《大评测!ChatGPT 、文心一言和Bard谁更强?》中,将同样的问题给到过文心一言、Bard、以及ChatGPT。
可以说,天工的前两个问题回答和文心一言此前的回答不相上下,但在最后一个藏头诗的理解上,还是存在一定的偏差。
尽管,文心一言的藏头诗回答的也并不好,但好在,文心一言理解了“藏头”的意思。而天工,似乎还并未消化掉“藏头”的意思。
02.
逻辑思辨能力
为了测试“逻辑推理”能力,我们将这样一题抛给了天工和文心一言,即“如果猫会爬树,那么狗也会。”
上图“天工大模型”,下图文心一言
很明显,天工和文心一言也陷入了题目的误区,或者说,并没有完全理解题目意思。不过,这里需要强调的是,在鸡兔同笼问题上,文心一言和天工在发布的视频中都有不错的表现。
在文心一言发布会上,李彦宏询问文心一言“鸡兔同笼”的问题,在题目数据错误的前提下,文心一言通过推理证明了题目存在问题。
这里需要注意的是,在这个逻辑推理上,ChatGPT的回答,是天工、文心一言、bard这四家大模型中唯一正确的,并指出了猫和狗的不同,证明猫会爬树,而狗不会。
除了考验逻辑能力之外,我们还将一个哲学思辨问题,同时向天工和文心一言发文。
上图“天工大模型”,下图文心一言
在哲学问题的理解上,天工和文心一言区别不大,但文心一言略显“人文”一些,在解读之后,更是直接告诉我们该怎么做,更像是和人在对话一样,天工的回答则更是一本正经。
可以这样来说,和天工对话像是和老师对话,老师需要回答这个问题是什么;和文心一言对话则更像是和心理医生对话,医生需要在解释的基础上给出意见。
03.
编程能力
为了测试这两大模型写代码的能力,我们询问了一个非常简单的问题——x 2=5,y-3=7,输出x y等于几,用java做一个简单编程,并得出结果。
上图“天工大模型”,下图文心一言
但是很显然,这两大模型给出的结果都是有问题的。
不过,在其他评测稿件中,文心一言和天工在编程能力的表现上并不差。我们认为,目前来看,这些大模型的能力还并不稳定,还需要在不断的训练中提高准确性。
04.
结语
总结来看,文心一言也好,天工也罢,他们的能力相对来说,差距不大。但更多的问题在于,目前,大模型每一次生成的问题答案都存在一定的误差。
相比于“首家”之争,我们认为,企业们更重要的是在于提升大模型的能力和准确度,并且寻找到更多合适的场景去实现商业化。
大模型赛道愈发热烈,谁都想做风口上的猪,但是能在风口上起飞的猪,往往都是做好了充足的准备。
此外,我们还应该多给国内科技企业更多的信心,和国外ChatGPT4相比,国内大模型还是有一定差距,但是我相信,这个差距在不远的将来,在竞争中,都会逐渐拉小。国内大模型,未来可期。
当用户在 Edge 浏览器搜索 Google Bard 时 微软弹窗宣传必应聊天工具
站长之家(ChinaZ.com)10月19日消息:又一次微软试图挑战竞争对手,这家科技巨头在Edge浏览器上试图积极推广BingChat,以抢占GoogleBard的市场份额。这一变化至少在其实验性渠道的最新版本Canary(v.120.0.2168.0)中被发现。如果您在最新版本上搜索「googlebard」,将会出现一个弹出窗口,宣传BingChat。站长网2023-10-19 16:05:000000AI协助创作日本漫画家手塚治虫作品,新一章《怪医黑杰克》上架
**划重点:**1.🎨手冢治虫的《怪医黑杰克》迎来新篇章,由人工智能与人类合作创作,令人瞩目。2.🚀大型语言模型GPT-4和AI图像生成器StableDiffusion协同,决定故事情节和人物设计,人类负责插图创作。3.💬手冢治虫之子表示,尽管不是所有人都会满意这一项目,但希望此举能激发关于人工智能在创意领域的更多讨论。站长网2023-11-22 14:50:070001社区团购迎来新对手,大战卷土重来?
疫情防控放开之前,社区团购最高一天能达600单,刘淼10平米的干洗店内根本放不下,分拣好的货品一路堆积到门口。现在,她向Tech星球展示的团长单子上,每天平均100单~200多单,大幅下跌。作为连接社区团购平台与用户之间的关键桥梁,团长的境况一定程度上,反映着社区团购赛道的现状。站长网2023-08-10 10:28:110000写钓鱼邮件、开发恶意软件、伪造信用卡,AI机器人FraudGPT在暗网风靡
FraudGPT是一种不受监管的聊天机器人,在暗网上流通,并被犯罪分子用来编写网络钓鱼电子邮件和开发恶意软件。Netenrich研究员RakeshKrishnan表示:“随着生成式人工智能模型的兴起,威胁形势发生了巨大变化。”最近,Netenrich的研究团队在Darknet论坛等中发现了名为FraudGPT的软件的证据。站长网2023-07-31 10:32:030000谷歌推王炸级图像生成功能Generative Powers of Ten 生成图像可无限放大
Google最近发布了一项名为“GenerativePowersofTen”的图像生成功能,这项功能支持对生成的图像进行无限放大。这意味着用户可以将一张人像照片放大到可以看到细胞结构,或者将地球大气层缩放到地面上的物体。站长网2023-12-08 11:53:370002