AI圈巨震!微软论文曝光GPT-3.5参数量仅有200亿
要点:
微软论文爆料GPT-3.5的参数量仅为20B,远小于之前官方宣布的1750亿,引发广泛关注和争议。
微软的论文介绍了一个小规模扩散模型CodeFusion,性能出色,只有7500万参数,与大型模型相媲美。
论文讨论了CodeFusion模型的架构和性能表现,对GPT-3.5的真实参数量提出了质疑,但仍需等待官方开源数据揭晓。
最近,微软的一篇论文引发了广泛讨论,揭示了GPT-3.5的真实参数量可能只有20B,远远小于之前官方宣布的1750亿。这一曝料在AI圈内引起了巨大的震动,让人们开始重新评估这一庞大模型的性能和潜力。此论文还介绍了一个小型扩散模型CodeFusion,它只有7500万参数,但在性能方面与大型模型相媲美,引发了人们对模型规模与性能之间的关系的思考。
CodeFusion是一个用于代码生成的模型,经过两个阶段的训练,使用无监督预训练和有监督微调的方法,不断提升其性能。在性能评估中,CodeFusion在top-1准确率方面表现出色,尤其在Python任务中,几乎与GPT-3(175B参数)相媲美。而在top-3和top-5设置下,CodeFusion明显优于其他基线模型。
论文地址:https://arxiv.org/pdf/2310.17680.pdf
然而,最引人关注的是GPT-3.5的参数量。以前人们普遍认为它有1750亿参数,但这篇论文声称它只有20B。这个巨大的参数量差异引发了广泛的猜测和讨论。一些人认为这可能是作者的手误,但也有人认为这一参数估计是准确的,因为一些小型模型在性能上与GPT-3.5相媲美。此外,还有人提出了对GPT-3.5的性能和参数量进行更深入研究的问题,以更好地理解这一庞大模型。
尽管这一论文引发了许多争议,但我们仍需等待官方的数据披露以确定GPT-3.5的真实参数量。这个问题引发了关于模型规模与性能之间关系的深刻思考,以及对GPT-3.5是一个小专家模型的集成还是通才模型的质疑。这一争议仍在继续,只有等待更多信息的揭晓才能解开谜团。
LLM360: 首个完全开源和透明的大语言模型
**划重点:**1.🌐开源LLMs(如LLaMA、Falcon和Mistral)选择性公开了组件,而LLM360计划通过完全开源训练过程,支持AI研究的透明性和可重复性。2.🚀LLM360发布两个7B参数的LLMs,AMBER和CRYSTALCODER,附带训练代码、数据、中间检查点和分析,旨在推动开源LLMs的全面透明。站长网2023-12-14 12:01:040000微软暗示带有第三方人工智能插件的 Windows 11 Copilot 即将推出
站长之家(ChinaZ.com)7月31日消息:微软的WindowsCopilot插件支持即将推出,并且微软正在征求开发者的反馈,以帮助塑造操作系统的「第三方AI插件」的未来。此次调查是在WindowsLatest报道揭示了「第一方AI插件」存在的情况后进行的,这些插件弥补了Bing驱动的Copilot和Windows11之间的差距。站长网2023-07-31 10:02:270001Palantir 因人工智能助力提高营收目标,宣布股票回购计划
本文概要:1.PalantirTechnologies稍微提高了年度营收预期,同时表示将回购高达10亿美元的股票,以应对人工智能平台需求增长。2.Palantir的人工智能平台于4月份推出,已吸引100多个组织的用户,包括医疗保健和汽车行业,并正在与300多家公司洽谈。3.虽然公司股价因预期收入不及预期而下跌,但回购股份对公司规模来说具有重要意义。站长网2023-08-09 12:01:580000“律政佳人”,抖音淘金
“律师,死刑犯执行死刑的时候身体不舒服可以请假吗?”“律师,我老公是警察,我在家和他打架算袭警吗?”“律师,我老婆的闺蜜把我老婆绿了,我该怎么办?”这些让屏幕中的律师无奈后仰、口吐白沫的奇葩问题,正在成为许多运营短视频账号的律师用来制造节目效果的绝佳利器。观众们也对此乐此不疲,以超出常规的热情和屏幕中的律师互动、问答,并因此制造出更多人喜闻乐见的“电子榨菜”。0000谷歌斥资20亿美元战略投资AI初创公司Anthropic
划重点:1.谷歌宣布向Anthropic投资20亿美元,进一步巩固其在快速发展的人工智能领域的地位,引发行业动态深刻转变。2.谷歌的投资不仅仅是财务支持,还是战略合作,旨在加速Anthropic的人工智能创新,同时巩固GoogleCloud在尖端AI研究和部署的地位。3.亚马逊也对Anthropic进行重大投资,进一步证明其潜力,并将其置于高风险的技术竞争中。站长网2023-10-30 10:09:060000