研究人员发现,谷歌Gemini表现不如GPT-3.5 Turbo
在近期的一项研究中,来自卡内基梅隆大学和BerriAI的研究团队对Google Gemini Pro进行了深入的评估,并发现其在多项任务中表现不如OpenAI的GPT-3.5Turbo。这一发现无疑是对Google在生成式人工智能领域与OpenAI竞争的雄心的一次沉重打击。
Gemini Pro 与 GPT-3.5Turbo 对比
Gemini Pro是Google公司最新推出的大型语言模型(LLM),其在演示视频中展示了其强大的功能。然而,研究团队发现Gemini Pro在多数任务上的表现不如OpenAI的老款GPT-3.5Turbo。这一结论令Google研究人员感到挫败,尤其是考虑到他们在Gemini的开发上投入了大量时间和精力。
尽管Gemini Pro的表现不佳,Google仍然保持乐观态度,表示他们即将推出更强大的版本Gemini Ultra,预计将于2024年初问世。据Google的内部研究称,Gemini Ultra在性能上超过了GPT-4。然而,这一消息并未能完全抚平研究结果给公司带来的打击。
研究方法与测试结果
研究团队在LiteLLM平台上测试了四个不同的LLM:Google Gemini Pro、OpenAI GPT-3.5Turbo、GPT-4Turbo和法国初创公司Mistral最新推出的Mixtral8x7B。测试内容涵盖了STEM、人文和社会科学领域的57个多项选择问题,以及一些与通用推理、数学和编程相关的任务。
研究结果显示,在多项选择问题的测试中,Gemini Pro的准确性低于GPT-3.5Turbo和GPT-4Turbo。Gemini Pro在人类性、形式逻辑、初等数学和专业医学等领域的表现较差,其中一部分原因是Gemini在某些问题上拒绝回答,声称由于安全和内容限制无法遵循。然而,在安全和高中微观经济学等领域,Gemini Pro的表现略优于GPT-3.5Turbo,但进步有限。
Gemini在语言翻译领域表现出色,优于GPT-3.5Turbo和GPT-4Turbo。然而,研究指出,Gemini Pro在某些语言对中阻止回应的情况下表现不佳,这暗示了一种过于激进的内容审查/安全系统。
对Google AI雄心和用户的影响
研究结果明显对Google在生成式人工智能领域与OpenAI竞争的雄心构成了打击。由于更强大的Gemini Ultra模型要到明年初才会发布,这可能意味着Google在AI性能上将至少在未来一段时间内落后于竞争对手。尽管如此,研究也显示,Mistral公司的Mixtral8x7B模型在大多数方面的表现也不如GPT-3.5Turbo,为Google在AI领域带来一丝希望。
尽管Gemini在某些方面表现出色,但研究结果让人难以忽视OpenAI目前在消费者和企业面向的生成式人工智能领域的领先地位。随着Gemini Ultra的推出,Google可能会迎头赶上,但目前GPT-4仍然是首选,至少直到Gemini Ultra在新的一年发布。
百模大战,打响AI应用生态的新赛点
“宇宙中心”五道口,又泛起了昔日的光芒。十字路口一角的华清嘉园里,各种互联网大佬们,王兴、程一笑、张一鸣等人的创业传说似乎还有余音,后脚搬进来的AI创业者,就续上了新的篇章。站长网2023-09-07 09:57:390000商汤前员工创立言图智能 为企业提供定制化 AI 助手服务
近日,商汤前员工在深圳成立了一家创业公司,名为言图智能。这家公司的目标是利用语言大模型技术为企业提供定制化的AI助手服务。言图智能的创始团队由两位产品经理组成,他们在视觉算法自动训练平台和多模态推理平台领域有多年的经验。站长网2023-07-25 22:33:230000即将发布!vivo S18系列将首批搭载蓝心AI大模型
vivo宣布,vivoS18系列将成为其首批采用AI大模型技术的手机。该系列手机将搭载vivo自研的蓝心大模型,覆盖了十亿、百亿、千亿三个参数量级。据爆料,vivoS18将搭载骁龙7Gen3处理器,配备峰值亮度达2800nit的居中单孔曲面屏,后置5000万像素超光感人像镜头,支持OIS蜂鸟防抖以及影棚级人像算法矩阵。站长网2023-11-29 14:06:230000Spotify 扩展与谷歌云的人工智能合作,驱动个性化播客和有声读物推荐
站长之家(ChinaZ.com)11月17日消息:音频流媒体平台Spotify已宣布扩大与Google的合作,以加强其人工智能(AI)服务。自2016年以来,Spotify一直与GoogleCloud合作,现在将使用这家科技巨头的AI工具来改进其平台的某些部分。站长网2023-11-17 11:22:150000小鹏汽车推出限时优惠:2023款小鹏G6全系车型降价2万元
小鹏汽车近日宣布,自即日起购买2023款小鹏G6全系任意一款车型,并在2月底之前完成提车的用户,将享受2万元的现金优惠。此次优惠活动使得纯电中型SUV小鹏G6的起售价降至18.99万元。据了解,小鹏G6共有5款配置车型在售,官方指导价为20.99万-27.69万元。此前,小鹏G6曾推出过限时减免1万元的活动,起售价降至19.99万元。而此次优惠力度更大,将起售价进一步降低至18.99万元。站长网2024-02-04 16:06:360000